用Python实现代理池(Proxy Pool)系统

本文介绍了一个跨语言的Python代理池系统,包括运行环境、安装步骤和使用API获取代理的方法。系统采用异步检测代理,支持Redis数据库,并提供异常处理和Web服务器接口。
摘要由CSDN通过智能技术生成

项目的代码在这里:https://github.com/WiseDoge/ProxyPool

Build Status
跨语言高性能IP代理池,Python实现。

注意:请运行程序前先更新一下抓取代理的函数。

运行环境

  • Python 3.5

    (请务必保证Python的版本在3.5以上,否则异步检验无法使用。)

  • Redis

    Redis官网并没有提供Windows的安装版,Windows用户可以点击此处下载一个我自己编译的二进制版本(3.2版本2.7MB,VS 2015编译)。

安装

① 直接使用

安装依赖

$ pip install -r requirements.txt

Windows用户如果无法安装lxml库请点击这里

打开代理池和API

$ cd proxypool

$ python

评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值