如何检测代理是否有效

## 环境 centos7 + py2

使用requests,请求判断代理是否有效,请求的api请自己找。

代码如下:

# coding=utf-8
import requests

def GetUseProxies():
'''测试代理是否可用'''
UseProxiesList = []
i = 1
n = 0
# 请求api返回代理列表
api = "http://qsrdk.daili666api.com/ip/?&num=100&category=2&sortby=time"

api_url = requests.get(api)

proxies_list= api_url.content.split( ' \r\n ')
print '获得proiex%s' % len(proxies_list)
for proxy in proxies_list:
print '正在发送第%s个请求。 \n\r ' % i
i+= 1
proxies = { "http": "http://"+proxy, "https": "http://" + proxy, }
try:
requests.get( 'http://www.baidu.com', proxies = proxies, timeout= 2)
UseProxiesList.append(proxy)
except:
n+= 1
print '***已经有%s个代理被淘汰***' % n
print 'UseProxiesList:',UseProxiesList
print '可用代理数量%s' % len(UseProxiesList)


if __name__ == "__main__":
GetUseProxies()


结果如下:


总结:因为速度网络I/O比较消耗时间,建议建立多进程,线程或者协程

  • 1
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值