http协议状态码报错原因

1、 API代理
（1） 代理提取失败
停止程序访问，直接使用IE浏览器访问代理API，截图看看错误提示：
Ø 如果页面访问失败
注意API链接是否复制正确；爬虫服务器是否有防火墙禁止网络访问；服务器是Linux提取api，是需要转义，&符号前面要加
Ø 页面访问成功，返回错误信息，需要看看错误信息内容
2 您的IP:125.69.47.134 没在白名单( 125.69.44.227 222.209.8.0 )中
原因：ip白名单不对，需要添加，注意看看对方服务器IP是不是电信或联通的IP
2 修改IP白名单太频繁
原因：1、ip白名单不对，需要添加，注意看看对方服务器IP是不是电信或联通的IP，同时注意对方是不是开启了IP自动更新选项，如果对方有多个网络出口，就会导致ip自动更新频繁。
2 False,没有获取到任何代理,速率超过限制
原因：一条代理API链接只能按照指定时间间隔进行访问，注意程序是不是有多个线程访问或一个服务器下有多个软件运行，超出了代理链接提取速度，请用浏览器访问代理API链接，看看中文提示错误描述。如果服务器每秒请求超过一次，会被判断为DDOS攻击行为，直接黑名单处理，停止该行为一段时间后会自动恢复访问许可。
（2） 代理提取之后，代理不能访问或访问失败率很高
原因：提取和使用代理IP的机器是不是都绑定了IP白名单，注意看看对方服务器IP是不是电信或联通的IP；
（3） 代理能访问，偶尔出现访问失败或提取失败
原因：注意看看对方服务器IP是不是电信或联通的IP，同时询问对方是不是多个IP白名单的情况下，开启了IP自动更新出现了冲突；对方是否控制了代理IP的使用时间，超出了2-10分钟，导致IP失效。
（4） 代理能访问，出现大量429
原因：要求对方控制每个代理IP的请求数，最好一个代理IP一个线程，避免出现阻塞，同时建议客户增加IP提取量
（5） 代理能访问，出现大量403、504或503
原因：爬虫程序的采集行为被网站标识并拒绝服务，求对方控制每个代理IP的请求数，并且增加IP提取量。
（6） 提取的代理IP都是相同IP
原因：部分地区为保证网络速度、降低网络延迟，提供IP隧道代理，该代理通过固定IP+随机端口，在一个时间点上随机分配一个外网IP（又称：公网IP），因此统计代理IP的重复率是不准确的。
2、 爬虫代理
（1） 代理使用失败
Ø 让对方截图看看代理代码，代理信息是否提取配置正确。重点注意必须使用代理域名，不能是代理服务器IP。
Ø 要求对方复制demo，然后加上ua随机优化，按照所开代理的请求数，按照300毫秒为单位进行管理，运行程序后统计错误信息和http的状态码。
2 代理链接失败
原因：对方是否有防火墙，导致无法链接我们服务器；对方开的代理是否过期。
2 http状态码407
原因：代理认证信息失败，让对方严格按照demo配置代理信息
2 http状态码429
原因：请求超过代理限制，严格按照所开代理的请求数，按照300毫秒为单位进行管理。如果限制之后，既然大量429，需要优化爬虫策略，应该是目标网站返回的错误提示。
2 http状态码302
原因：访问的是https网站，会自动跳转一次，正常现象；访问的http网站，网站拒绝服务，大量302需要优化爬虫策略
2 http状态码403 503 或504
原因：少量不影响，大量403 503或504需要优化爬虫策略
2 http请求超时
原因：http请求的超时设置为10秒，尤其是对方访问国外网站的时候。
（2） 没法确认代理是否使用
要求对方直接复制demo，访问http://httpbin.org/ip，看看返回的IP，如果是我们的代理IP，就表示代理链接成功
（3） 爬虫代理使用成功，请求失败率较高
统计错误信息和http的状态码，将200和各自错误信息进行统计，看看比例分布，参考第（1）项里面的http状态码进行解答。