手把手爬取知乎大V关注的所有人

要求

爬取获得知乎“轮子哥”——vczh所有的关注对象:
(本案例来源DC学院的爬虫课程)

爬取过程

1.由于知乎的反爬措施，向服务器请求信息的时候需要提交user agent的信息。通过谷歌浏览器开发者工具找到user agent的信息，具体方法为：用谷歌浏览器打开网页，右键“审查元素”,点击“network”，刷新页面，点击第一个文件“following”，右侧下拉到“request headers”目录下找到user agent 信息；复制该信息并保存到headers变量中(注意这里是用字典保存)；

2.解析页面
如果在返回的html文件中找我们要的资料会比较麻烦，在所有响应的文件中找到我们所需要的信息在哪里，只抓取这一个文件比较方便，所以我们试着在Network中查看每一个响应文件，最终找到一个followee的文件，里面包含了该页所有关注者的信息(图1)，而这些信息是通过直接请求知乎API 得到的(图2)，我们就可以通过对这个URL请求从而过滤掉其他们无用的数据，只获取我们需要的信息

图1

图2：

进一步对图2中的URL 进行解析
第一页关注者的URL:
https://www.zhihu.com/api/v4/members/excited-vczh/followees?include=data%5B*%5D.answer_count%2Carticles_count%2Cgender%2Cfollower_count%2Cis_followed%2Cis_following%2Cbadge%5B%3F(type%3Dbest_answerer)%5D.topics&offset=20&limit=20

第二页关注着的URL
https://www.zhihu.com/api/v4/members/excited-vczh/followees?include=data%5B*%5D.answer_count%2Carticles_count%2Cgender%2Cfollower_count%2Cis_followed%2Cis_following%2Cbadge%5B%3F(type%3Dbest_answerer)%5D.topics&offset=40&limit=20

比较发现最后offset=40&limit=20是决定页面变化的参数，以20一页为限制，offset为0时显示第一页，20显示第二页，以此类推，所以要爬取每一页的信息只要把这个参数改成变量，写一个for循环即可；

for i