爬虫进阶——解决封IP问题| 部署ADSL服务器获取动态IP

1.问题背景

我们公司需要到某环保平台爬取环保信息，但平台那边先从封cookie开始，后来又封IP，目前又开始封账号。。本章就讲讲封IP问题的一个解决策略——部署ADSL服务器吧。

ADSL服务器是什么，我在这里就不详说了，可以百度下，总结来说，就是可以通过不断的拨号断开宽带连接，从而获取新的IP。

我们老板是一个善良的人，嗯嗯，要求很明确，一是爬虫脚本能运行稳定，二是成本低（泻药。。。），然后我和另外一个同事一同测试ip代理和ADSL服务器，发现，ADSL动态拨号还是相当稳定的，于是果断选择ADSL。

ADSL服务器不但便宜，而且稳定，但比较头疼的是，服务器需要我们自己部署，折腾了好几天，总算解决了各种问题，需要考虑的问题有以下几个方面：

• 如何部署ADSL服务器；
• 如何才能让ADSL服务器动态拨号，获取新的IP；
• 如何才能让公司的脚本自动获取远程ADSL服务器的IP；
• 【需要认真琢磨的】怎样对脚本改进，使得能够实现对IP的最大利用。

2.部署ADSL服务器环境

我使用的是云立方的动态拨号服务，预装的系统是ubuntu14.04,因为个人熟悉的原因。如果你喜欢Centos或者windows，也可以。以下是折腾几天部署服务器的总结：