爬取ip代理网站并提取可用ip

系统开发环境：

操作系统 ：Windows
Python版本 ：Python 3.X
开发工具 ：Pycharm 2019
第三方模块 ：requests, parsel

难度系数：⭐

一、先上图看最终效果

二、需要了解的知识点：

1.导入库

import requests
import parsel

如果导入库下面有红线，说明你还没有安装这个库，pycharm下找到最下方的Terminal 进行库的安装

下面看到有successful就是安装成功了，我这里因为先前安装过，所以他会显示已经存在不会显示安装成功，对了安装这里还涉及到一个超时问题，因为请求的是国外的服务器速度很慢可能会安装不成功，需要借助国内的镜像安装，可以参考我另一篇文章的1.3 如何永久换源
2.找出每页的ip地址的规律

2.1 如图

这里可以看到快代理的网址规律为 https://www.kuaidaili.com/free/inha/每页页数/
即：“https://www.kuaidaili.com/free/inha/{}/”.format(page)

2.2 通过for循环可以得到每页的网址（注意下range范围不要写太大写成1000多，如果你用的是自己的ip的话，你请求太快自已的ip也可能被封，可以通过拿到已经测试成功的ip池去爬取网站剩余的ip）
即：for page in range(1, 11)：

for page in range(1, 11):
    print("=======正在爬取{}页数据=======".format(page))
    # 初始网址
    base_url = "https://www.kuaidaili.com/free/inha/{}/".format(page)
    # print(base_url)

    # 伪装请求头
    headers = {
   
        "User-Agent": "Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.130 Mobile Safari/537.36"}

    response = requests.get(url=base_url, headers=headers)
    # text返回的是文本内容，而content返回的是能请求到的所有内容以二进制数据展示，content.decode()返回所有内容，默认是utf-8解码
    data = response.text
    # print(response)
    # 3.解析数据 -- parsel 转换Selector对象，Selector对象封装了xpath,re的方法，能够对转化的数据进行处理
    html_data = parsel.Selector(data)
    # 打印的 <> 在python中表