使用代理IP + 设置ua后爬虫运行一小会后大量403
问题描述爬虫使用代理IP访问目标网站,并且已经设置过了user-agent,获取的新IP能够正常访问,不过过一小段时间之后就会出现大量403。尝试想着会不会是因为cookie的原因,于是给每个代理IP都设置了该IP第一次访问的时候保存对应cookie,后续访问使用对应的cookie访问。发现然并卵,该403还是403。。。/*** 省略部分代码*/String hostName =...
原创
2019-01-16 11:40:41 ·
1541 阅读 ·
0 评论