1 环境配置
1.1 安装Redis
自行在网上找一下教程叭
1.2 ProxyPool
下载 ProxyPool 并按照 README.md 对 setting.py 配置文件进行修改,配置数据库信息等
安装python的第三方库,本次使用 python 版本: python 3.9.13
1.3 JCRandomProxy
2 使用
2.1 Redis
进入大 Redis 所在文件夹,启动 cmd 运行如下命令,如果是 PowerShell 需要在最前面加“.\”
redis-server.exe redis.windows.conf
启动后,需要保留 cmd 窗口
关闭cmd窗口,执行下面这条命令将 Redis 服务写入到 Windows 服务
redis-server.exe --service-install redis.windows.conf --loglevel verbose
之后可以在任务管理器中的服务开启 Redis 服务,就不需要保留 cmd 窗口了
2.2 ProxyPool
进入 ProxyPool 所在目录,运行如下命令来启动调度程序
python proxyPool.py schedule
新打开一个 cmd 窗口,运行如下命令来启动 webApi 服务
python proxyPool.py server
此时可能会报错,需安装 python 的第三方模块 jiaja2 解决报错问题
2.3 JCRandomProxy
运行 JCRandomProxy
如下图所示,配置代理池 IP 地址与代理池端口,即 ProxyPool 的 webApi 服务地址与端口,点击 “控制台1” 中的启动以开启代理
将流量转发至代理服务器:http://127.0.0.1:8081,即可
此时可能会报错,问题在于 ProxyPool 保存代理 IP 时有 “last_status” 的值为 Boolean value,而 JCRandomProxy 中却是整数值,因此报错。
由于本人不熟悉 Go 语言,因此对 ProxyPool 代码进行了修改,将 Boolean value 改为 int value
如不方便修改,可到
https://github.com/ni54ng/proxy_pool/tree/proxy_pool-2.4.1
进行下载