爬取Boss直聘拿下来的假数据

最新推荐文章于 2024-05-26 18:32:46 发布

maboii

最新推荐文章于 2024-05-26 18:32:46 发布

阅读量2.2k

点赞数

文章标签：爬虫 boss直聘

本文链接：https://blog.csdn.net/weixin_43800002/article/details/91612394

版权

下面是我在爬取BOSS直聘时遇到的，给我的公司都是假数据，原因是因为没有及时更换代理ip被识别出来是爬虫了，其实解决这种问题最好的办法就是更换代理Ip和更换请求头

在这里插入图片描述
在更换代理和请求头之后，没有出现访问错误的问题了

更换完了之后又出现重定向的问题，如图

2019-08-12 21:51:39 [scrapy.middleware] INFO: Enabled item pipelines:
[]
2019-08-12 21:51:39 [scrapy.core.engine] INFO: Spider opened
2019-08-12 21:51:39 [scrapy.extensions.logstats] INFO: Crawled 0 pages (at 0 pages/min), scraped 0 items (at 0 items/min)
2019-08-12 21:51:39 [scrapy.extensions.telnet] INFO: Telnet console listening on 127.0.0.1:6023
http://114.226.46.89:20040
2019-08-12 21:51:40 [scrapy.downloadermiddlewares.redirect] DEBUG: Redirecting (302) to <GET https://www.zhipin.com/web/common/security-check.html?seed=9eauZHf8lMm
crFabknEvew2fbWKyvObBeG%2F9goSQNKI%3D&name=7c0225ec&ts=1565617899746&callbackUrl=%2Fc101020100%2F%3Fquery%3D%25E5%259B%25BE%25E5%2583%258F%26page%3D3%26ka%3Dpage-3

我尝试将请求头的内容添加完整

在这里插入图片描述
尝试之后，重定向的问题解决，现在开始关注语法的错误