如何使用proxy_pool(在linux wsl下)
-
安装及配置redis
1.1 安装redis
sudo apt-get install redis-server
1.2 更改redis密码
sudo vim /etc/redis/redis.conf
将requirepass取消注释并设置密码
如requirepass 123456
1.3 启动redis
sudo service redis-server start
1.4 查看redis状态
sudo service redis-server status
显示 redis-server is running 为启动成功 -
配置proxy_pool
2.1 下载代码到目录
git clone https://github.com/jhao104/proxy_pool.git
2.2 进入proxy_pool文件夹
cd proxy_pool
2.3 安装依赖
pip install -r requirements.txt
2.4 修改setting.py
· 将setting.py中host进行修改
HOST = "127.0.0.1"
· 同时修改DB_CONN,格式为 redis://:password@ip:port/db (password与1.2中一致)
如DB_CONN = 'redis://:123456@127.0.0.1:6379/0'
· 若有需要,也可以修改VERIFY_URL2.5 启动proxy_pool
再另外打开两个窗口
先在其中一个运行
python proxyPool.py schedule
再打开第二个窗口,运行
python proxyPool.py server
若在第二个窗口中显示
则启动成功
2.6 测试
打开浏览器 如图应输入http://127.0.0.1:5010/
若有内容,则启动成功
遇到的错误:
在2.5中运行python proxyPool.py server
报错
TypeError: required field “type_ignores” missing from Module
可能是当前环境下某些包冲突
使用conda新建虚拟环境,在虚拟环境下重新进行操作即可