爬虫小试牛刀（知乎用户关注列表爬取 python+requests+json）

最新推荐文章于 2025-04-07 13:20:53 发布

_linbobo

最新推荐文章于 2025-04-07 13:20:53 发布

阅读量1.9k

点赞数 1

分类专栏： python爬虫文章标签： python 爬虫爬虫基础

本文链接：https://blog.csdn.net/weixin_38860386/article/details/83593035

版权

本文介绍了如何使用Python的requests和json模块爬取知乎用户廖雪峰的关注列表。首先，通过浏览器调试工具分析请求URL和所需headers参数以绕过反爬虫机制。接着，展示获取数据时遇到的400错误及解决方法，通过添加headers参数成功获取信息。同时，由于原始数据中用户名无法正常显示中文，通过引入json模块解决了这一问题。最后，说明了如何调整params参数以获取更多用户数据。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

知乎用户关注列表爬取

基于环境：python3.6 + requests + json 模块
调试浏览器：chrome浏览器

环境安装

python可自行到官网下载
requests模块和json模块安装，直接pip

pip install requests
pip install json

目标分析

目标用户
廖雪峰:https://www.zhihu.com/people/liaoxuefeng
按f12开启调试工具
将文件类型定位到 XHR，并点击 关注者 如下图：
请求返回的数据一般能够在XHR 或者 JS 中可以找到，命名前缀都会与我们要的东西相关，在左边列表中找到followers开头的文件，点击，在右边的Preview下可以看到用户的关注用户数据
我们从 Preview 切到 Headers 可以看到请求信息和响应信息，第一个便是请求 url

Request URL: https://www.zhihu.com/api/v4/members/liaoxuefeng/followers?include=data[*].answer_count%2Carticles_count%2Cgender%2Cfollower_count%2Cis_followed%2Cis_following%2Cbadge[%3F(type%3Dbest_answerer)].topics&offset=0&limit=20

先测试一下：
```
import requests

url = "https://www.zhihu.com/api/v4/members/liaoxuefeng/followers?include=data%5B*%5D.answer_count%2Carticles_count%2Cgender%2Cfollower_count%2Cis_followed%2Cis_following%2Cbadge%5B%3F(type%3Dbest_answerer)%5D.topics&offset=0&limit=20"
response =</
```