python代理IP池爬取

最新推荐文章于 2023-09-07 13:25:07 发布

Vastsa

最新推荐文章于 2023-09-07 13:25:07 发布

阅读量103

点赞数

本文链接：https://blog.csdn.net/qq_35834501/article/details/106539238

版权

python代理IP池爬取

Lan 2020-04-18 12:54 223 人阅读 0 条评论

import parsel
import requests

url = ''
headers = {
    'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.163 Safari/537.36',
}
html = requests.get(url=url, headers=headers).text
html = parsel.Selector(html)
Ip = html.xpath('//td[@data-title="IP"]/text()').extract()
Port = html.xpath('//td[@data-title="PORT"]/text()').extract()
LeiXing = html.xpath('//td[@data-title="类型"]/text()').extract()
result = []
for i in range(len(Ip)):
    a = (LeiXing[i] + '://' + Ip[i] + ':' + Port[i])
    pro = {LeiXing[i]: a}
    result.append(pro)

for i in result:
    try:
        ssss = requests.get(url='http://www.baidu.com', headers=headers, proxies=i, timeout=1).status_code
        if ssss == 200:
            print(i)
    except:
        print('不合格')

本文地址： https://www.lanol.cn/post/138.html
版权声明：本文为原创文章，版权归 Lan 所有，欢迎分享本文，转载请保留出处！

赞赏