小白爬虫Day 1

小白的爬虫之路

1.所需环境

1.pycharm2020、python3.7、requests库
以上环境安装都比较容易，就不做过多赘述。
2.要求python基础语法

2.首先爬取网页信息（HTML文本）

代码如下：

import requests
r = requests.get("https://www.baidu.com")
print(r. text)

运行后的效果：

可以看到网页的HTML代码已经被爬下来了，这就是一个最简单的爬虫。

但是当我们把baidu改成zhihu，却发现无法爬取（如下图）

这就是遇到了反爬虫，我们对代码进行如下修改：

import requests
headers={
    'User-Agent':'Mozilla/5.0 (Macintosh;Intel Mac OS x 10_11_4) AppleWebKit/537.36 (KHTML,link Gecko) Chrome/52.0.2743.116 Safari/537.36'
}
r = requests.get("https://www.zhihu.com/explore",headers=headers)
print(r.text)

运行：

成功啦，我们加入了头部信息，模拟浏览器便可以轻松爬取了。

2.爬取图片保存到本地

我们先随便在网页找一张图片，右键检查找到图片的src地址。

先运行以下代码，看看内容都是什么：

import requests
res=requests.get('https://timgsa.baidu.com/timg?image&quality=80&size=b9999_10000&sec=1603812870748&di=71b46c762c57ca9ad66261298b590fdb&imgtype=0&src=http%3A%2F%2Fa0.att.hudong.com%2F56%2F12%2F01300000164151121576126282411.jpg')
print(res.content)

get后的地址就是刚才说的src地址，复制进去即可。
看看运行结果：

可以看到都是二进制，说明这张图片都是以二进制格式保存。
修改代码如下：

import requests
res=requests.get('https://timgsa.baidu.com/timg?image&quality=80&size=b9999_10000&sec=1603812870748&di=71b46c762c57ca9ad66261298b590fdb&imgtype=0&src=http%3A%2F%2Fa0.att.hudong.com%2F56%2F12%2F01300000164151121576126282411.jpg')
#print(res.content)
with open('test.jpg','wb') as f:
    f.write(res.content)

运行：

这样图片就可以保存下来了。
PS:小白第一天上手，希望不要被大神喷。
学习书籍为：《Python 3网络爬虫开发实战》 崔庆才著，想要的话可以私信我。