python爬虫-简单代理IP池的搭建与使用

前言：常爬爬网站，总有些害怕突然返回一个不是200的状态码，不是网不好，就是被反爬了，不过大多数网站还是蛮“友好”的，但难免还是会被网站封了IP，于是乎想到了前辈们说的代理ip池，咱学习学习，自己也整一个，好了，开干。

思路

IP代理池的搭建及使用需要实现以下几点功能

1. 找到合适的代理ip的网站（西刺代理）
2. 解析网页获取ip
3. 判断ip是否有效
4. 读写数据

一、解析网页获取ip

分析以下几点，我们可知ip信息都存在于tr标签内，先使用xpath对该网页基础解析，代码如下：root.xpath("//tr[@class=''] | //tr[@class='odd']")，将其划分为一个个的tr标签块，
再对每个tr块进行处理，将我们所需要的信息解析出来，我这里需要它的ip地址、端口号、服务器类型，代码如下

ip_address = tr.xpath("td[2]/text()")[0]  # ip地址
ip_port = tr.xpath("td[3]/text()")[0]  # ip端口号
ip_protocol = tr.xpath("td[6]/text()")[0]  # ip网络协议
ip = "{}://{}:{}".format(ip_protocol, ip_address, ip_port)

如此，我们所需要的ip就获取到了，但大多数的ip可能是无用的，所以我们要一一对其验证一下，紧接着下一步：判断ip是否有效

二、判断ip是否有效

我这里就用一下百度的网址（https://www.baidu.com/）做一下验证，通过访问网址返回的状态码确认ip是否有效，代码如下

response = requests.get(url="https://www.baidu.com/", headers=headers, proxies=proxies, timeout=30)
if response.status_code == 200:
    print(proxies, "            OK")
    return True
else:
    return False

注： proxies的类型是一个字典，格式为：{服务器类型: 完整IP}

三、存取代理ip

（一）存数据

有了有效的ip数据，我们当然要存起来嘛，想想我们的目的是什么：造池子，干嘛用：放很多代理IP，噢噢噢噢，存起来，我这就用Excel表存起来，因为有多组数据，所以这里使用的是向Excel表中追加数据，代码如下

# 追加填写数据
def write_excel(excelFilePath, values):
    data = openpyxl.load_workbook(excelFilePath)
    table = data.active
    nrows = table.max_row  # 获得行数
    # 注意 行 列下标是从1开始的
    for i in range(1, len(values) + 1):  # 行
        for j in range(1, len(values[i - 1]) + 1):  # 列
            table.cell(nrows + i, j).value = values[i - 1][j - 1]
    data.save(excelFilePath)

（二）读数据/使用数据

咱是实在人，存了数据肯定是要用的嘛，不用还能等它坏了不成，这里写一个函数用于返回一个ip_list,方便接下来代理IP的使用，代码如下：

# 读出excel