开源IP代理池续——整体重构

大家在github,我的公众号和博客上提出了很多建议。经过两周时间的努力，基本完成了开源IP代理池IPProxyPool的重构任务，业余时间基本上都花在上面了。

IPProxyPool相对于之前的版本完成了哪些提升呢？主要包括一下几个方面：

1. 使用多进程+协程的方式，将爬取和验证的效率提高了50倍以上，可以在几分钟之内获取所有的有效IP
2. 使用web.py作为API服务器，重构HTTP接口
3. 增加Mysql,MongoDB等数据库的适配
4. 支持python3
5. 增加了三个代理网站
6. 增加评分机制，评比稳定的ip

大家如果感兴趣，可以到github上clone IPProxyPool源码，已经503 star了。

下面说明一下使用方法：

项目依赖

Ubuntu,debian

1.安装sqlite数据库(一般系统内置): apt-get install sqlite3 
2.安装requests,chardet,web.py,gevent: pip install requests chardet web.py sqlalchemy gevent 
3.安装lxml: apt-get install python-lxml 
注意：

• python3下的是pip3
• 有时候使用的gevent版本过低会出现自动退出情况，请使用pip install gevent --upgrade更新)
• 在python3中安装web.py，不能使用pip，直接下载py3版本的源码进行安装

Windows

1.下载sqlite,路径添加到环境变量 
2.安装requests,chardet,web.py,gevent: pip install requests chardet web.py sqlalchemy gevent 
3.安装lxml: pip install lxml或者下载lxml windows版
注意：

• python3下的是pip3
• 有时候使用的gevent版本过低会出现自动退出情况，请使用pip install gevent --upgrade更新)
• 在python3中安装web.py，不能使用pip，直接下载py3版本的源码进行安装

扩展说明

本项目默认数据库是sqlite，但是采用sqlalchemy的ORM模型，通过预留接口可以拓展使用MySQL，MongoDB等数据库。 配置方法： 
1.MySQL配置

1 2 3 4 5 6 7 8 9 10 11 12

第一步：首先安装MySQL数据库并启动 第二步：安装MySQLdb或者pymysql(推荐) 第三步：在config.py文件中配置DB_CONFIG。如果安装的是MySQLdb模块，配置如下：          DB_CONFIG = {              'DB_CONNECT_TYPE' : 'sqlalchemy' ,              'DB_CONNECT_STRING'  :  'mysql+mysqldb://root:root@localhost/proxy?charset=utf8'          }          如果安装的是pymysql模块，配置如下：           DB_CONFIG = {              'DB_CONNECT_TYPE' : 'sqlalchemy' ,              'DB_CONNECT_STRING'  :  'mysql+pymysql://root:root@localhost/proxy?charset=utf8'          }

sqlalchemy下的DB_CONNECT_STRING参考支持数据库，理论上使用这种配置方式不只是适配MySQL，sqlalchemy支持的数据库都可以，但是仅仅测试过MySQL。 
2.MongoDB配置

1 2 3 4 5 6 7

第一步：首先安装MongoDB数据库并启动 第二步：安装pymongo模块 第三步：在config.py文件中配置DB_CONFIG。配置类似如下：          DB_CONFIG = {              'DB_CONNECT_TYPE' : 'pymongo' ,              'DB_CONNECT_STRING'  :  'mongodb://localhost:27017/'          }

由于sqlalchemy并不支持MongoDB,因此额外添加了pymongo模式，DB_CONNECT_STRING参考pymongo的连接字符串。

注意:

如果大家想拓展其他数据库，可以直接继承db下ISqlHelper类，实现其中的方法，具体实现参考我的代码，然后在DataStore中导入类即可。

1 2 3 4 5 6 7 8 9

try :      if  DB_CONFIG[ 'DB_CONNECT_TYPE' ]  = =  'pymongo' :          from  db.MongoHelper  import  MongoHelper as SqlHelper      else :          from  db.SqlHelper  import  SqlHelper as SqlHelper      sqlhelper  =  SqlHelper()      sqlhelper.init_db() except  Exception,e:      raise  Con_DB_Fail

有感兴趣的朋友，可以将Redis的实现方式添加进来。

如何使用

将项目目录clone到当前文件夹

1	$ git clone

切换工程目录

1 2	$ cd IPProxyPool $ cd IPProxyPool_py2 或者 cd IPProxyPool_py3

运行脚本

1	python IPProxy.py

成功运行后，打印信息

1 2 3 4 5

IPProxyPool - - - - - >>>>>>>>beginning http: / / 0.0 . 0.0 : 8000 / IPProxyPool - - - - - >>>>>>>>db exists ip: 0 IPProxyPool - - - - - >>>>>>>>now ip num < MINNUM,start crawling... IPProxyPool - - - - - >>>>>>>>Success ip num : 134 ,Fail ip num: 7882

API 使用方法

第一种模式

GET /

这种模式用于查询代理ip数据，同时加入评分机制，返回数据的顺序是按照评分由高到低，速度由快到慢制定的。

参数

例子

IPProxys默认端口为8000，端口可以在config.py中配置。如果是在本机上测试：

1.获取5个ip地址在中国的高匿代理：http://127.0.0.1:8000/?types=0&count=5&country=中国
2.响应为JSON格式，按照评分由高到低，响应速度由高到低的顺序，返回数据：

1	[[ "122.226.189.55" ,  138 ,  10 ], [ "183.61.236.54" ,  3128 ,  10 ], [ "61.132.241.109" ,  808 ,  10 ], [ "183.61.236.53" ,  3128 ,  10 ], [ "122.227.246.102" ,  808 ,  10 ]]

以["122.226.189.55", 138, 10]为例，第一个元素是ip,第二个元素是port，第三个元素是分值score。

1 2 3 4 5 6 7 8 9 10 11 12 13 14

import  requests import  json r  =  requests.get( 'http://127.0.0.1:8000/?types=0&count=5&country=中国' ) ip_ports  =  json.loads(r.text) print  ip_ports ip  =  ip_ports[ 0 ][ 0 ] port  =  ip_ports[ 0 ][ 1 ] proxies = {      'http' : 'http://%s:%s' % (ip,port),      'https' : 'http://%s:%s' % (ip,port) } r  =  requests.get( 'http://ip.chinaz.com/' ,proxies = proxies) r.encoding = 'utf-8' print  r.text

第二种模式

GET /delete

这种模式用于方便用户根据自己的需求删除代理ip数据

参数

大家可以根据指定以上一种或几种方式删除数据。

例子

如果是在本机上测试：

1.删除ip为120.92.3.127的代理：http://127.0.0.1:8000/delete?ip=120.92.3.127
2.响应为JSON格式，返回删除的结果为成功,失败或者返回删除的个数,类似如下的效果：

["deleteNum", "ok"]或者["deleteNum", 1]

1 2 3

import  requests r  =  requests.get( 'http://127.0.0.1:8000/delete?ip=120.92.3.127' ) print  r.text

以上就是重构后的IPProxyPool，两周的辛苦没有白费，当然还有不足，之后会陆续添加智能选择代理的功能。