Python爬虫实战——反爬策略之代理IP【无忧代理】

• Python爬虫基础——HTML、CSS、JavaScript、JQuery网页前端技术
• Python爬虫基础——正则表达式
• Python爬虫基础——re模块的提取、匹配和替换
• Python爬虫基础——XPath语法的学习与lxml模块的使用【CSDN】
• Python爬虫进阶——JsonPath使用案例
• Python爬虫进阶——urllib模块使用案例【淘宝】
• Python爬虫进阶——Request对象之Get请求与URL编码【英雄联盟吧】
• Python爬虫进阶——Request对象之post请求案例分析【百度翻译】
• Python爬虫实战—— Request对象之header伪装策略
• Python爬虫实战——反爬策略之代理IP【无忧代理】
• Python爬虫实战——反爬策略之模拟登录【CSDN】
• Python爬虫实战——反爬机制的解决策略【阿里】
• Python爬虫总结——常见的报错、问题及解决方案

一般情况下，我并不建议使用自己的IP来爬取网站，而是会使用代理IP。
原因很简单：爬虫一般都有很高的访问频率，当服务器监测到某个IP以过高的访问频率在进行访问，它便会认为这个IP是一只“爬虫”，进而封锁了我们的IP。

那我们爬虫对IP代理的要求是什么呢？

• 1、代理IP数量较多，可以减低被封锁的概率；
• 2、IP生命周期较短，因为没钱o(´^｀)o。

接下来，就讲一下从购买代理IP到urllib配置代理IP的全过程。