Python学习笔记(15) 网络爬虫使用proxy实现自动换IP防封锁

如果网络爬虫访问某个网站太频繁，很可能被目标网站封锁，虽然网站封锁有很多种，需要不同的应对方案，但是，最常用的缓解封锁的方案是换IP，关于其他封锁应对方案大家可以跟帖讨论。

换IP也有两个方案：

1. 利用VPN客户端软件自动换IP：这个方案是在操作系统级的，所以不用对网络爬虫软件做设置，IP换了，爬虫软件自然会用新IP
2. 利用proxy服务定时获得新的proxy服务网址：这个方案是在爬虫控制下的，所以，可以选择合适的时机连接某个proxy，通过proxy访问目标网站，目标网站就把访问的源头当成了这个proxy，通过定时换proxy，目标网站会认为是不同的源头来的，降低被封锁的风险。由于这个方案是在爬虫控制下的，所以能避免时机不对的问题，比如，正在下载文件的时候换IP就会打断下载过程，而在爬虫控制下，会选择合适的时机。

本文讲解方案2，由于各个proxy服务的api各不相同，每接入一种proxy服务，都要修改网络爬虫软件，本文只讲解接入芝麻http的方法，如果您需要接入其他proxy服务，需要与集搜客技术支持联系。

1.  获得提取IP的网址

在芝麻http网站上，顶部菜单有“获取API”，进入到获取API页面，假定购买了按次提取的服务，如下图进行设置，以获得提取IP的网址。