python爬取xici的免费代理、并验证(重点、清楚)

网上爬取xici的帖子很多，但是验证都说的不是很清楚，这里我会认真给大家解释

这里我写了一个代理类proxy，写了四个方法（个人写法不必在意），get_user_agent（得到随机use-agent,请求头中最重要的一个）、get_proxy(爬取代理IP)、test_proxy(验证代理可用性）、store_txt(将可用的代理保存到txt文件中。

1.爬取：headers是请求头，choice是可以选择是爬取Http代理还是https代理，first、end为开始和结束的页码（结束不包含最后一页）

 def get_proxy(self, headers, choice='http', first=1, end=2):
        """
        获取代理
        :param choice:
        :param first: 开始爬取的页数
        :param end: 结束爬取的后一页
        :return:
        """

        ip_list = []
        base_url = None
        
        # 选择爬取的网站，一个是http、一个是https的
        if choice == 'http':
            base_url = 'http://www.xicidaili.com/wt/'
        elif choice == 'https':
            base_url = 'http://www.xicidaili.com/wn/'
        
        # 控制页码用正则匹配，并将爬取的IP和端口号用:链接
        for n in range(first, end):
            actual_url = base_url + str(n)
            html = requests.get(url=actual_url, headers=headers).text
            pattern = '(\d+\.\d+\.\d+\.\d+)</td>\s*<td>(\d+)'
            re_list = re.findall(pattern, html)

            for ip_port in re_list:
                ip_port = ip_port[0] + ':' + ip_port[1]
                ip_list.append(ip_port)
        return ip_list

 2. 验证：网上大部分是用request直接请求一个网址看是否通过或者看状态码是否是200， 但是有一个问题是即使你设置了代理IP。可能会通过，但通过的不是用你设置的代理IP而是用你自己公网下的IP（大部分时候我们用ifconfig查询的是我们所在局域网下的IP，及私网IP）。

linux下你可以用这些命令的其中任何一个查看你的公网IP：

curl icanhazip.com
curl ifconfig.me
curl curlmyip.com
curl ip.appspot.com
curl ipinfo.io/ip
curl ipecho.net/plain
curl www.trackip.net/i

注意：那这样要怎么办，其实我们可以向上述命令一样先用你爬下的代理IP访问 http://icanhazip.com/， 它可以返回你电脑发送请求时的公网IP（此时如果你设置代理IP了就会是返回你所发送请求的代理IP），然后你将它爬取下来（直接获取返回的值的文本就可以了），并和你发送请求时的代理IP作比较，如果不相等说明此代理IP不能用，因为虽然你设置了代理Ip，但是电脑在你代理IP请求不同的情况下，直接又使用了你公网的IP去请求，当然成功了，但不代表你的代理IP可以用。如果相等，那就证明此网站就是你所用的代理IP访问请求成功的，所以此IP可用。