在这个信息爆炸的时代,要想高效地获取数据,爬虫绝对是首选。而用python做爬虫也十分简单,下面就通过一个简单的小爬虫程序,来一睹写爬虫的基本过程:
一、准备工作
语言:python
IDE:pycharm
首先是要用到的库,因为是刚入门最简单的程序,我们主要就用到下面这两个:
import requests //用于请求网页
import re //正则表达式,用于解析筛选网页中的信息
其中re是python自带的,requests库需要我们自己安装,在命令行中输入pip install requests即可。
然后随便找一个网站,注意不要尝试爬取隐私敏感信息。
二、编写爬虫程序
开始爬虫前,我们首先应明确两点:
-
爬虫的网址;
-
需要爬取的内容(数据)。
第一步,爬虫的网址,我们拿某表情包网站来举例子。
首先肯定要通过python访问这个网站,代码如下:
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:98.0) Gecko/20100101 Firefox/98.0'
}
response = requests.get('https://qq.yh31.com/zjbq/',headers=headers) //请求网页
其中之所以要加headers这一段,是因为有些网页会识别出python请求,然后拒绝,所以我们要换个正常的请求头。可以随便找一个或者f12从网络信息里复制一个。
然后我们要找到我们要爬取的图片在网页代码里的位置,f12查看源代码,找到表情包如下:
然后建立匹配规则,用正则表达式把中间那串替换掉,最简单的就是.*?
t = '<img src="(.*?)" alt="(.*?)" width="160" height="120">'
像这样,就可以调用re库里的findall方法把相关内容爬下来了。
result = re.findall(t, response.text)
返回的内容是由字符串组成的列表,最后我们经由爬到的地址,通过python语句把图片下载下来保存到文件夹里就OK啦。
程序源码:
import requests
import re
import os
image = '表情包'
if not os.path.exists(image):
os.mkdir(image)
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:98.0) Gecko/20100101 Firefox/98.0'
}
response = requests.get('https://qq.yh31.com/zjbq/',headers=headers)
response.encoding = 'GBK'
response.encoding = 'utf-8'
print(response.request.headers)
print(response.status_code)
t = '<img src="(.*?)" alt="(.*?)" width="160" height="120">'
result = re.findall(t, response.text)
for img in result:
print(img)
res = requests.get(img[0])
print(res.status_code)
s = img[0].split('.')[-1] //截取地址末尾,得到表情包格式,如.jpg .git
with open(image + '/' + img[1] + '.' + s, mode='wb') as file:
file.write(res.content)
最终结果
只要明白了爬虫的原理,就会发现爬虫并不难,只要多多练习,还可以开辟副业。
关于Python技术储备
学好 Python 不论是就业还是做副业赚钱都不错,但要学会 Python 还是要有一个学习规划。最后大家分享一份全套的 Python 学习资料,给那些想学习 Python 的小伙伴们一点帮助!
👉Python学习路线汇总👈
Python所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照上面的知识点去找对应的学习资源,保证自己学得较为全面。(全套教程文末领取哈)
👉Python必备开发工具👈
温馨提示:篇幅有限,已打包文件夹,获取方式在:文末
👉Python学习视频600合集👈
观看零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。
👉实战案例👈
光学理论是没用的,要学会跟着一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。
👉100道Python练习题👈
检查学习结果。
👉面试刷题👈
资料领取
上述这份完整版的Python全套学习资料已经上传CSDN官方,朋友们如果需要可以微信扫描下方CSDN官方认证二维码输入“领取资料” 即可领取
![](https://i-blog.csdnimg.cn/blog_migrate/726d28815e0247395b7b7d40617c9fc1.jpeg)