python爬虫 数据库连接池

python爬虫 数据库连接池

工程地址：https://github.com/jhao104/proxy_pool
python ip代理池
安装对应requirements.txt依赖
修改proxy_pool目录下setting.py
修改:
1、HOST：本机访问：127.0.0.1 远程访问：0.0.0.0
2、PROT：对外暴露的端口
3、设置Redis：DB_CONN = ‘redis://@127.0.0.1:6379’
4、设置Redis 表名：TABLE_NAME = ‘use_proxy’
5、设置免费代理PROXY_FETCHER：启用的代理采集方法名, 代理采集方法位于
fetcher/proxyFetcher.py 类中.
6、VERIFY_RUL：用于检验代理是否可用的地址, 默认为 http://www.baidu.com, 可根据使用场景修改为其他地址.
7、VERIFY_TIMEOUT：检验代理的超时时间, 默认为 10 , 单位秒. 使用代理访问 VERIFY_RUL 耗时超过 VERIFY_TIMEOUT 时, 视为代理不可用.

tip:
配置教程在：proxy_pool/docs/user/how_to_config.rst
如何启动：proxy_pool/docs/user/how_to_run.rst
如何利用数据库连接池：proxy_pool/docs/user/how_to_use.rst

注意 start
如果在Terminal命令行操作一定要确认，
当前系统环境配置的python版本与项目python版本是否一致
否则可能会出现 No Module
注意 end