IP代理池设计与解决方案

一、背景

爬虫服务请求量大，为了应对反爬措施，增加爬虫的爬取效率和代理IP使用率，需要设计一个IP代理池，满足以下需求：

• 定时任务获取第三方代理
• 及时剔除IP代理池中失效的IP
• 业务隔离IP
  • 若IP未失效，但对某个业务来说，IP被封，需要针对业务，隔离此IP
• 均衡使用IP
  • 避免IP使用频率不均问题

通常选用的地上那方外部代理有：蚂蚁代理、阿布云、讯代理（不建议使用）。这里以讯代理为例。

说说讯代理

实际环境测试过，代理质量差，价格不低，客服态度不好。笔者以公司的名义提需求，价钱好商量，对方直截了当回复，没这功能，也做不了，爱买不买，呵呵。所以真心不建议使用。

1.1 调用代理API

调用混拨代理API，返回结果

{
   
"ERRORCODE":"0",
"RESULT"<