要想判断所使用的代理IP是否有用,只需要通过代理IP访问IP地址查询网站抓取地址以及归属地信息并与不使用代理IP时的地址信息以及归属地信息进行比较即可。
这是未使用代理IP时得到的IP信息
下面使用代理IP
去网站上找一些免费代理IP
接下来利用requests库的Proxies功能使用代理IP
from bs4 import BeautifulSoup
import requests
url = 'http://ip.chinaz.com/'
proxies = {
'http': 'http://60.167.23.213:27339',
}
r = requests.get(url, proxies=proxies)
soup = BeautifulSoup(r.text, 'lxml')
parent_node = soup.find(class_="IpMRig-tit")
for i in parent_node.find_all('dd'):
print(i.get_text())
得到结果
60.167.23.213
安徽省芜湖市 电信(纠错)
Unknown
Unknown 0.0 python-requests/2.18.4
代理IP可用
输出的最后一行是User-Agent即用户代理
当未用requests库时输出为
<dd><strong>Chrome</strong> Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.84 Safari/537.36</dd>