获取程序由python编写,pyinstaller/cython编译,作者编写完整下载地址在文章末尾
欢迎大家加入QQ编程交流群:107098233
first
引入两个大家熟知的库json和requests
import json #导入json模块
该模块用来解析标准的js子类文本到标准python字典(dict)
import requests #导入requests模块
该模块用来通过http协议以get,post能方式获取网络数据
笔者的python3.9 x64没有自带该库,如果你像笔者一样可以在命令行输入
pip install request
当然,你也可以调用winhttp.dll或使用urllib
获取总数据页面(使用的api:https://ip.jiangxianli.com/api/proxy_ips)
这个api是笔者在百度这个无良引擎中掏出来的,有全国甚至全球的代理ip,随时可能失效(官网在https://ip.jiangxianli.com/)
使用requests访问这个质量不太好的api获取json数据
requests.get("https://ip.jiangxianli.com/api/proxy_ips")
转为python字典,此处用函数json.loads(str)套上请求代码
注意:不要用json.load()!!!会报错,这个函数是指解析json在json只有一项情况下!!
json_data=json.loads(requests.get("https://ip.jiangxianli.com/api/proxy_ips").get)
获取页面总数
papes=json_data['data']['last_page']
second
循环获取所有代理ip
此处可以看出数据是数组
直接套用for i in json_data['data']['data']:
由于数据是分页的
所以需要套上for i in range(papes):
由于服务器的管理员可能怕服务器bug掉设置了分页!!
所以我们需要根据页码来获取数据 api:https://ip.jiangxianli.com/api/proxy_ips?page=页码
数据与文章首是相同格式,获取我就省略了
代码:
for i1 in range(json_data['data']['last_page']):
result=json.loads(requests.get("https://ip.jiangxianli.com/api/proxy_ips?page="+ str(i1)).text)
for i2 in result['data']['data']:
data.append({'ip': i2["ip"],'端口号':i2['port'],'国家': i2['country'],'物理位置':i2['ip_address']})
完整精简代码
json_data=json.loads(requests.get("https://ip.jiangxianli.com/api/proxy_ips").text)
print("总数据页数",json_data['data']['last_page'])
for i1 in range(json_data['data']['last_page']):
result=json.loads(requests.get("https://ip.jiangxianli.com/api/proxy_ips?page="+ str(i1)).text)
for i2 in result['data']['data']:
data.append({'ip': i2["ip"],'端口号':i2['port'],'国家': i2['country'],'物理位置':i2['ip_address']})
print('共',len(data),"条代理ip")
third
代理测试:
代码:
total=len(data)
print("准备连接测试")
for i3 in data:
try:
if i3['端口号']==8080:
proxymodel="https"
else:
proxymodel="http"
result = requests.get("https://baidu.com", proxies={proxymodel: i3['ip']+':'+i3['端口号']})
if result.status_code == 200:
if result.text==requests.get("https://baidu.com").text:
print("测试IP:", i3['ip']+':'+i3['端口号'],",成功:可用,延迟:",result.elapsed.microseconds,"ms")
else:
print("测试IP:", i3['ip']+':'+i3['端口号'],",失败:数据无效")
data.remove(i3)
else:
print("测试IP:", i3['ip']+':'+i3['端口号'],",失败:数据无效")
except:
print("测试IP:", i3['ip']+':'+i3['端口号'],",失败:无法连接")
data.remove(i3)
print('无法使用的数量:',total-len(data))
print('可用数量:',len(data))
解析:
for循环获取数据数组中的每一项
通过requests.get(url,proxies={proxymodel: i3[‘ip’]+’:’+i3[‘端口号’]})返回的code
以及代理传回和本地网络传回代码校验,得出是否可用
last
最后保存到文件
注意input(),执行到input()python会等待用户输入并成为input()返回值
open代码我想大家都会了
while True:
path=input("请输入保存路径:")
print("请输入保存模式(1)json模式(2)python代码开发示例(3)python数组模式(复制到变量赋值处)")
model=input("请输入序号:")
file = open(path,"w")
if model=='1':
text=json.dumps({'proxy': data})
elif model=='2':
text='import json\nimport request\nproxy='+str(data)+'\nprint(proxy)\nprint(len(proxy))'
elif model=='3':
text=str(data)
else:
text=''
break
file = open(path,"w+")
file.write(text)
print("程序运行结束。made by danny QQ3414034955")
exit()
完整代码
https://download.csdn.net/download/ssghzzcsvcd/20671481
成品
https://download.csdn.net/download/ssghzzcsvcd/20671481
欢迎大家加入我的Q交流群107098233一起探讨交流