# 这几天在写ip代理池的时候遇到个问题,凡是http的网站requests的代理要写成https才可以检测出代理ip的活性,反之,若是https的网站需要requests的代理换成http才可检测出代理IP的活性。
# 测试出可用IP
def ip_text(list, valid_IP):
try:
url = "http://lishi.tianqi.com/luoyang/index.html"
for ip in list:
try:
rep = requests.get(url, proxies={
'https': ip}, headers=header, timeout=0.5)
if rep.status_code == 200: # 如果放回的状态码是200,那么说明该IP地址可用
valid_IP.append(ip)
print("该代理IP有效:" + ip)
else:
print("该代理IP无效:" + ip)
except:
print("该代理IP无效:" + ip)
except:
print("IP测试失败")
爬虫 requests中的http和https(检测IP活性)
最新推荐文章于 2022-08-24 10:36:49 发布