## 环境 centos7 + py2
使用requests,请求判断代理是否有效,请求的api请自己找。
代码如下:
# coding=utf-8
import requests
def
GetUseProxies():
'''测试代理是否可用'''
UseProxiesList = []
i =
1
n =
0
# 请求api返回代理列表
api =
"http://qsrdk.daili666api.com/ip/?&num=100&category=2&sortby=time"
api_url = requests.get(api)
proxies_list= api_url.content.split(
'
\r\n
')
print
'获得proiex%s' %
len(proxies_list)
for proxy
in proxies_list:
print
'正在发送第%s个请求。
\n\r
' % i
i+=
1
proxies = {
"http":
"http://"+proxy,
"https":
"http://" + proxy, }
try:
requests.get(
'http://www.baidu.com',
proxies = proxies,
timeout=
2)
UseProxiesList.append(proxy)
except:
n+=
1
print
'***已经有%s个代理被淘汰***' % n
print
'UseProxiesList:',UseProxiesList
print
'可用代理数量%s' %
len(UseProxiesList)
if
__name__ ==
"__main__":
GetUseProxies()
结果如下:
总结:因为速度网络I/O比较消耗时间,建议建立多进程,线程或者协程