反爬503问题处理

1、在爬虫的时候经常会遇到亚马逊返回的503，我这边即使使用了代理ip还是无法规避被限制的问题，该如何处理呢？

我的解决方案：

1、目标网址对访问频率有着明显的限制，如果访问过快比如每次都是1秒内访问就容易导致被亚马逊限制返回503，所以我们可以控制随机访问频率：我这边设置了随机从列表中随机取睡眠时间，然后再去设置代码访问目标地址，就可以正常返回了。注意：随机时间一定要大于1秒，否则会被亚马逊识别出来

2、其次还要设置cookie，和ua，这样就可以成功了

看下我在服务器上通过以上两种方式并使用代理ip测试亚马逊爬虫的成功率，平均耗时是从访问前到访问成功后的时间，2.5秒，在国内是比较快的了，其他家的都是4/5秒，推荐代理ip用的代理ip成功率挺高的：https://h.shenlongip.com/index?from=seller&did=h4Dmox（介绍客户成功使用，福利多多）

3、通过selenium模块也可以规避目标地址的反爬系统解决