本文介绍了如何利用Scrapy爬取智联招聘网站的招聘信息。通过查看网页源代码和分析异步请求，找到后端接口，直接在Postman中测试并调用该接口获取JSON数据。需要注意接口返回的条目数与请求参数不符，以及在解析数据时要处理URL编码问题。完整代码可在GitHub上查看。
首先www.zhaopin.com是智联招聘网站的首页，进行搜索后，比如搜Java，点右键查看网页源代码可以看到，网页里面搜到的内容是异步加载的如图所示：
然后点击f12打开开发者工具，如图：
再点击刷新查看发送的异步请求，并进行分析：
可以看到发送了两个异步请求，发现第二个是个后端接口，直接拿到postman中进行测试 ，如图：
发现是标准的接口，直接调用接口即可爬取到网站的数据，也就避免了对网页进行分析，返回的是json数据 ，还有需要注意的地方是pageSize请求的是60但是返回的却是62：
最低0.47元/天 解锁文章
扫一扫
1297
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
