我在爬取网站的时候使用的是代理IP，往往都是第一个代理能很顺利的请求网页并拿到数据，但是一旦换了一个代理ip就出现重定向或者出现10060、10061等错误，但是我把报错的ip设置为浏览器代理去打开网站没有任何问题，我试着寻找是否有ip认证的机制，但是我发现带cookies和headers或者不带cookies和headers都可以顺利防问网页，而且可以随意那一个页面链接去浏览器打开，但是在整个网站中，只有一个post请求和一个加密参数，其它的都是get明文传参。综上所述，我排除了网络和代理ip导致请求失败的问题，同时也排除了cookies和headers检查的问题，现在我完全找不到问题出在哪，有没有哪位能帮我解答一下，万分感激！
0