我的反爬解决方案（1）—— 怼代理IP

项目地址

免费代理IP池地址(长期维护)：https://github.com/IMWoolei/FreeProxyPool

前言

在常见的反爬手段中，最常见的是针对访问频度反爬，频度反爬中最常用的又是针对出口IP访问频率的限制。

遇到封IP时的解决办法就是降低请求频率或更换请求出口IP，其中更换出口代理IP的方式最常使用的则是设置代理IP。

代理IP来源

• 购买代理IP：大部分代理IP可用，相对稳定，能为大规模的爬虫提供有效的支持；
• ADSL拨号：购买VPS主机，稳定，能提供的有限的代理IP，VPS主机数与能提供的代理IP数成正比；
• 免费代理IP：抓取代理IP提供商的公开代理IP，可用率低，可能已经被某些热门站点拉入黑名单，免费是最大的优势；
• 其它…

关于代理IP

代理IP中常常又分为透明代理、匿名代理、高匿代理、混淆代理，关于这四者的区别可以参考一下这个文章

• 代理类型一共能分为四种：透明代理、匿名代理、高匿代理、混淆代理
• 安全程度：高匿->混淆->匿名->透明