原标题:必知!如何验证代理IP的有效性?
在爬虫的时候,我们需要用到代理IP来避免,而当我们得到了IP之后,该如何验证这些IP是不是有效的呢?这时候我们可以使用Spyder(anaconda自带了一个Python的编辑器),输入购买的IP来模拟访问某一个网站,若多次未成功访问,则说明哪些代理无效的。
1.提取代理
首先,你需要购买ip(作者此处选择的是“私密代理”,更适合用于爬虫),购买后进入订单提取代理ip,点击立即提取:
点击立即提取后会跳出如下页面,提取生成的代理ip:
2.验证有效性
代码如下:
import requests
import random
import time
http_ip = [
'',
'',
'',
'',
''
]
for i in range(10):
try:
ip_proxy = (http_ip)
proxy_ip = {
'http': ip_proxy,
'https': ip_proxy,
}
print('使用代理的IP:', proxy_ip)
response = ("", proxies=proxy_ip).text
print(response)
print('当前IP有效')
(2)
except Exception as e:
print([0])
print('当前IP无效')
continue
运行结果如下:
返回搜狐,查看更多
责任编辑: