爬虫程序加了动态代理为什么还是会被封？

虽然动态代理 ip 是数据采集过程中必不可少的，但是使用了动态切换 ip ，并不表示就一定不封 ip. 因为网站的反爬不仅仅是 ip 策略，还有 cookie 、 ua 甚至 js 统计分析等，这些都需要针对网站进行一些分析处理，否则只有 ip 就能将网站都采集下来，那么爬虫程序也就没啥难度了，事实上越是有价值的网站，其信息都是做了反爬策略的，爬虫需要做好更多的优化，双方是矛与盾的关系 . 所以在采集数据的过程中这些基本的反爬策略也是需要加上的，这样才可以更长期稳定的采集数据，当然使用的代理也是需要选购高质量的，网上搜索的时候会有很多代理可以选择，但是鱼龙混杂，一家一家的测试又很花费时间，这里推介我经常使用的几家代理。亿牛云，个人最看好的代理商，代理效果很好，客服的服务也很好，尤其是他们会给客户提供 ua 库，还有提供一些应对反爬的策略。讯代理，比较出名的代理商，代理效果也是可以的，可能是他们的客户基数太大了，代理长时间使用会出现下降的情况。站大爷，很霸道的代理商，客服经常都是比较傲娇的

来自 “ ITPUB博客 ” ，链接：http://blog.itpub.net/31522063/viewspace-2637726/，如需转载，请注明出处，否则将追究法律责任。

转载于:http://blog.itpub.net/31522063/viewspace-2637726/