爬虫业务windows系统搭建私有ip池

因数据抓取业务需要，需自建自有的私有IP池，我这里为了维护简单和使用方便，选择使用了隧道模式的HTTP。

原因：

1. 自由控制时效
2. 无并发线程限制
3. 独享

需要准备：

1. 拨号VPS N台
2. 系统windows任意版本，我选用了XP
3. ccproxy软件+bat拨号脚本

为了安全，必须启用白名单或用户名密码验证模式，根据实际情况选择之一即可。

• 如果IP不固定或经常变动，建议用户名密码验证（推荐）
• IP较少且不变动，可启用白名单

第一步先登录远程VPS主机，这里以我实际操作为例：

开始--运行--mstsc

 登录成功如图：

下载CCPROXY：免费下载CCProxy代理服务器-企业上网行为管理系统  免费版本即可

拨号bat脚本，通过计划任务设置时效，比如10分钟执行一次，那么IP可以使用10分钟后重新换IP：

rasdial 宽带连接 /disconnect  '断开宽带
ping 127.0.0.1 -n 10 >nul  '断开10秒后开始重新拨号
rasdial 宽带连接 宽带账号 宽带密码 '宽带拨号

ccproxy安装一直默认下一步即可，打开软件界面如图：

 第二步设置ccproxy

因为市场正常的拨号VPS只映射了2个公网的端口（把系统的22或3389映射出来），一个用于远程，一个用于数据转发（这个默认闲置），具体要看商家是否支持开放。

我们使用了windows系统使用HTTP协议，那么只能映射22端口出来

如果使用SOCKS协议，把HTTP和Secure取消，socks/MMS勾选后端口改为22即可

设置用户名密码

进行宽带拨号

完成后我们即可测试刚才的HTTP是否可以正常使用，使用curl -x来检测

命令如下：

curl -x http://testnew:123456x@weihai.cloud.hahado.cn:30010 httpbin.org/ip

 HTTP正常可以使用，说明成功。断开IP重新拨号则会换一个新IP。

转发模式的HTTP优势：

链接的地址端口都是固定，无需数据库，使用简单，维护也简单。