python如何解决爬虫ip被封- - -“您操作太频繁,请稍后再访问“
描述python 3.9.6pycharm问题当我想爬取某招聘网站的信息的时候出现如下信息{"status":false,"msg":"您操作太频繁,请稍后再访问","clientIp":"113.92.xxx.xxx","state":2402}原因招聘网站的反爬机制会识别访问的ip地址,没有携带hearders字段时,机制会认为是爬虫,将访问ip封了解决方法需要添加header,用来模拟用户登陆。右键-》copy-》copy as cURL将复制的url复制到此链接的curl c
原创
2021-07-02 14:49:30 ·
6540 阅读 ·
2 评论