爬虫代理设置--爬取ip池、验证ip是否可用、验证代理ip是否能用

最新推荐文章于 2024-07-29 15:35:41 发布

cuoguo_xin

最新推荐文章于 2024-07-29 15:35:41 发布

阅读量8k

点赞数 5

分类专栏：爬虫文章标签：爬虫

本文链接：https://blog.csdn.net/ssssdbucdbod/article/details/81038279

版权

在爬取大众点评时遭遇IP被封，为解决此问题，本文将分享如何建立IP池，包括获取代理IP、验证其可用性及检查代理IP是否能用于爬虫，主要使用requests库，同时提及fake_useragent库用于伪装请求头。

摘要由CSDN通过智能技术生成

昨天在爬取大众点评的时候，刚开始还好好的，但一会就把我的ip给封啦，所以我就想给自己弄一个ip池，这样我就可以继续爬啦。网上找了一堆代码，发现好多都是python2的，它们请求使用urllib2的库，这个库在python3中合并成urllib，所以很多方法调用都出现错误，所以我还是决定用requests。

一、获得代理ip

def get_ip_list(obj):
    ip_text = obj.findAll('tr', {'class': 'odd'})   # 获取带有IP地址的表格的所有行
    ip_list = []
    for i in range(len(ip_text)):
        ip_tag = ip_text[i].findAll('td')   
        ip_port = ip_tag[1].get_text() + ':' + ip_tag[2].get_text() # 提取出IP地址和端口号
        ip_list.append(ip_port)
    print("共收集到了{}个代理IP".format(len(ip_list)))
    print(ip_list)
    return ip_list
url = 'http://www.xicidaili.com/'
headers = {
    'User-Agent': 'User-Agent:Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.62 Safari/537.36'}
request = Request(url, headers=