python爬虫自动更换ip_Python 爬虫使用动态切换ip防止封杀

上次有说过，我在新公司有部分工作是负责爬虫业务的，爬虫机器有上百台，节点也要计划迁入了Docker平台上。  这两天遇到一个棘手的问题，就是因为我们为了追求数据量，在某些机房，用docker启动了不少爬虫节点，导致一些傻逼网站，开始封禁我们…. …   (干死他们，哥们要是有资源，必须干掉ddos，让你防 ！  当然我也就装装逼，没这个资源)

对于爬虫被封禁 ！ 爬虫一般来说只要你的ip够多，是不容易被封的。 一些中小网站要封杀你，他的技术成本也是很高的，因为大多数网站没有vps，他们用的是虚拟空间或者是sae，bae这样的paas云。 其实就算他们不考虑seo搜索优化，用ajax渲染网页数据，我也可以用webkit浏览器组件来搞定ajax之后的数据。

如果某个网站他就是闲的蛋疼，他就是喜欢从log里面，一行行的分析出你的ip，然后统计处频率高的网站， 那这个时候咋办？   其实方法很草比，就是用大量的主机，但是大量的主机是有了，你如果没有那么爬虫的种子量，那属于浪费资源… …  其实一个主机，多个ip是可以的。。。

这个时候是有两种方法可以解决的,第一个是用squid绑定多个ip地址，做正向代理…. 你的程序里面维持一组连接池，就是针对这几个正向proxy做的连接池。

正向代理和反向代理最大的区别就是，反向代理很多时候域名是固定的，而正向代理是通过一个http的代理端口，随意访问，只是在proxy端会修改http协议，去帮你访问

如果是python，其实单纯调用socke