小白的爬虫之路
1.所需环境
1.pycharm2020、python3.7、requests库
以上环境安装都比较容易,就不做过多赘述。
2.要求python基础语法
2.首先爬取网页信息(HTML文本)
代码如下:
import requests
r = requests.get("https://www.baidu.com")
print(r. text)
运行后的效果:
可以看到网页的HTML代码已经被爬下来了,这就是一个最简单的爬虫。
但是当我们把baidu改成zhihu,却发现无法爬取(如下图)
这就是遇到了反爬虫,我们对代码进行如下修改:
import requests
headers={
'User-Agent':'Mozilla/5.0 (Macintosh;Intel Mac OS x 10_11_4) AppleWebKit/537.36 (KHTML,link Gecko) Chrome/52.0.2743.116 Safari/537.36'
}
r = requests.get("https://www.zhihu.com/explore",headers=headers)
print(r.text)
运行:
成功啦,我们加入了头部信息,模拟浏览器便可以轻松爬取了。
2.爬取图片保存到本地
我们先随便在网页找一张图片,右键检查找到图片的src地址。
先运行以下代码,看看内容都是什么:
import requests
res=requests.get('https://timgsa.baidu.com/timg?image&quality=80&size=b9999_10000&sec=1603812870748&di=71b46c762c57ca9ad66261298b590fdb&imgtype=0&src=http%3A%2F%2Fa0.att.hudong.com%2F56%2F12%2F01300000164151121576126282411.jpg')
print(res.content)
get后的地址就是刚才说的src地址,复制进去即可。
看看运行结果:
可以看到都是二进制,说明这张图片都是以二进制格式保存。
修改代码如下:
import requests
res=requests.get('https://timgsa.baidu.com/timg?image&quality=80&size=b9999_10000&sec=1603812870748&di=71b46c762c57ca9ad66261298b590fdb&imgtype=0&src=http%3A%2F%2Fa0.att.hudong.com%2F56%2F12%2F01300000164151121576126282411.jpg')
#print(res.content)
with open('test.jpg','wb') as f:
f.write(res.content)
运行:
这样图片就可以保存下来了。
PS:小白第一天上手,希望不要被大神喷。
学习书籍为:《Python 3网络爬虫开发实战》 崔庆才著,想要的话可以私信我。