python代理池项目_python 构建代理池1.0版

原标题：python 构建代理池1.0版

环境

windows(64) + python 2.7 + MongoDB +phantomjs + selenium + requests

设计思想

采集：周期性的从网络上采集免费的ip, 放入数据库中并启动10个进程，进行验证，验证成功单独存放。

使用：初步想了两种方式，一种是做成服务，提供api 接口，一种是直连数据库。

设计

ip代理池程序由四部分组成：

1、Schedule : 执行定时任务，每10分钟请求一下ip数据源，并验证ip可用性

2、db : 存储数据，数据从网络上取下来，必定要找一个地方存储，也好维护

3、collectproxy ： ip数据源，由快代理，代理66 ，有代理，西刺代理，代理360 组成。可扩展

4、utils : 工具函数(Http请求，验证函数)。

5、webservice: 提供外部访问接口。

框架图

框架.png

流程概述

启动Schedule, 由Scheduler调用collectProxy,去请求网络资源，collectProxy拿到数据后解析，并将解析好的数据返回给scheduler,数据入库，sheduler 验证数据库中已经存在的proxy, 验证成功，放入新表中。此为周期性任务。

需要接入代理的爬虫，通过访问数据库或者api接口拿代理，如果此时可用代理数量不足，调用下载程序去网络采集新的数据。如果爬虫通过proxy没有成功请求到数据，此ip废弃，从验证成功库中删除，并请求一个新的proxy。考虑了一下，可能做成API的方式扩展性更好一些，直接调用网址就可以了，通用性更强。

项目目录

目录.png

目录接口说明

1、ProxyRefreshSchedule : 调度任务，周期性执行数据源刷新，代理验证，并入库操作。

2、CollectFreeProxy:封装网络数据源，调用工具函数下载接口，解析数据，将数据传给任务调度器。

3、MongoDBClient : 数据库操作类，封装了，查询，删除，保存等接口

-UtilsFunction :工具函数，数据下载接口，ip验证接口。

-Api : 数据服务接口，封装返回单个proxy,返回多个proxy,查询数据总量等接口

程序效果

调度任务执行效果：

调度任务运行效果.png

数据库截图

所有ip库

Paste_Image.png

已验证ip库

Paste_Image.png

api截图

Paste_Image.png

使用说明：

1、先运行ProxyRefreshSchedule ，等待10 分钟，设定的周期就是10分钟，感觉不合适可以自己修改。之后控制台会打印下载链接和已经验证成功的proxy。

2、运行 api.py 。

3、打开浏览器，输入http://127.0.0.1:5000 。可以查看接口的api。

觉得本文有帮助？请分享给更多人

关注「猿助猿」成就顶级开发

技术交流QQ群：517877452返回搜狐，查看更多

责任编辑：