关于爬虫中使用了 ip 代理还是被封的一些想法

问题描述

最近在爬取一个股票相关的网站，发现即使使用了代理，还是 403 被反了。
但是当我更换阿布云付费代理的时候，是 ok 的。

解决过程

找到一篇文章： https://www.zhiliandaili.com/News-getInfo-id-159.html

首先我想的是我的代理是不是质量不好，不是高匿的。

检验高匿代理

搜索如何判断 ip 是高匿代理，
找到了一些测试方案 ：
http://http.hunbovps.com/article-id-1421.html

初步判断是代理质量的问题，如果原始 ip 被封，大概率会被服务器“看到”。

因为公司提供的 ip 质量不佳，且设置了白名单和限量，无法长时间测试。自己写了几个 demo 测试，在一定时间周期内可以拿到一个可用的 ip。

后续找到比较稳定的解决方案再来更新。

后记

更新时间： 2020-02-07