一、 项目地址
https://github.com/Python3WebSpider/ProxyPool
二、克隆项目
git clone https://github.com/Python3WebSpider/ProxyPool.git
cd ProxyPool
三、在window上跑通
- 首先安装redis,安装链接附上:
https://www.runoob.com/redis/redis-install.html - 推荐使用 Conda 创建虚拟环境,Python 版本不低于 3.6,本人使用版本3.6.
- 安装好上面的环境以后,可以安装依赖库啦,将requirements.txt中的版本改为如下格式,注意要注释meinheld:
4. 运行代理池,使用命令:
运行之后会启动 Tester、Getter、Server,这时访问 http://localhost:5555/random 即可获取一个随机可用代理。python run.py