免费搭建一个自己的代理ip池

之前教给大家怎样爬取彼岸网美女图片，不知道有多少小伙伴没有忍住多爬了几张图片导致自己的ip被封呢
这里教大家怎样搭建ip池，妈妈再也不我的ip被封了
首先有请今天的受害对象
快代理:http://www.xiladaili.com/
简单分析一下，我们要其中的ip以及端口号port这两个数据，而这每个数据前面都有自己特有的data-title，也就是说可以用re来匹配，确定了用什么模块来解析数据，那就开干!

def get_page(url, headers):
    response = requests.get(url, headers=headers)
    response.encoding = 'utf-8'
    if response.status_code == 200:
        return response.text
    return None


def main():
    for i in range(1, 5):
        url = f'https://www.kuaidaili.com/free/inha/{i}/'
        headers = {
            'User-Agent': 'Fiddler/5.0.20204.45441 (.NET 4.8; WinNT 10.0.19042.0; zh-CN; 8xAMD64; Auto Update; Full Instance; Extensions: APITesting, AutoSaveExt, EventLog, FiddlerOrchestraAddon, HostsFile, RulesTab2, SAZClipboardFactory, SimpleFilter, Timeline)'
        }
        html = get_page(url, headers)
        
        
if __name__ == '__main__':
    main()

因为我们爬取的是免费的代理，免费代理的存活率很低，所以要用爬取大量数据来保障我们的有效代理的数量，这里我们进行翻页处理，

这个网站的第二页 第三页的地址为：

https://www.kuaidaili.com/free/inha/2/

https://www.kuaidaili.com/free/inha/3/

可以看到是后面的数字改变了，把数字换成1，网页也可以访问成功，那么就可以用for循环来改变地址后面的数字，以达到翻页的效果，如上面的代码所示

获取到网页信息后用re模块来匹配我们想要的数据

def analysis(html):
    agent = []
    pattern_ip = re.compile('<td data-title="IP">(.*?)</td>')
    pattern_port = re.compile('<td data-title="PORT">(.*?)</td>')
    ip_list = re.findall(pattern_ip, html)
    port_list = re.findall(pattern_port, html)
    for i in range(len(ip_list) - 1):
        age = ip_list[i] + ':' + port_list[i]
        agent.append(age)
    return agent

用两次正则分别来匹配数据，在用for循环将这两个数据用 ： 来连接

最后再检测一下这些ip是否可用，可以用这个网站来测试：http://www.whatismyip.com.tw/

他会返回访问所用的ip地址，为了更直观的看到结果。我用了命令行特殊显示效果\033，以及将得到的页面打印出来

def tes(agent):
    url = 'http://www.whatismyip.com.tw/'
    headers = {
        'User-Agent': 'Fiddler/5.0.20204.45441 (.NET 4.8; WinNT 10.0.19042.0; zh-CN; 8xAMD64; Auto Update; Full Instance; Extensions: APITesting, AutoSaveExt, EventLog, FiddlerOrchestraAddon, HostsFile, RulesTab2, SAZClipboardFactory, SimpleFilter, Timeline)'
    }
    for i in agent:
        proxies = {
            'http': 'http://' + i
        }
        try:
            response = requests.get(url, headers=headers, proxies=proxies)
            if response.status_code == 200:
                print(i, '\033[32m可用\033[0m')
                print(response.text)
                with open('ip.txt', 'a', encoding='utf-8') as f:
                    f.write(i + '\n')
        except:
            print(i, '\033[31m不可用\033[0m')

代理的http和https设置一定要和所访问地址的http相同，不然会无法使用代理，直接用你自己的ip进行访问

程序运行后得到可用的ip， 可以看到网页检测到的ip和我们使用的ip相同

全部代码如下：

import re
import requests


def get_page(url, headers):
    response = requests.get(url, headers=headers)
    response.encoding = 'utf-8'
    if response.status_code == 200:
        return response.text
    return None


def analysis(html):
    agent = []
    pattern_ip = re.compile('<td data-title="IP">(.*?)</td>')
    pattern_port = re.compile('<td data-title="PORT">(.*?)</td>')
    ip_list = re.findall(pattern_ip, html)
    port_list = re.findall(pattern_port, html)
    for i in range(len(ip_list) - 1):
        age = ip_list[i] + ':' + port_list[i]
        agent.append(age)
    print(agent)
    return agent


def tes(agent):
    url = 'http://www.whatismyip.com.tw/'
    headers = {
        'User-Agent': 'Fiddler/5.0.20204.45441 (.NET 4.8; WinNT 10.0.19042.0; zh-CN; 8xAMD64; Auto Update; Full Instance; Extensions: APITesting, AutoSaveExt, EventLog, FiddlerOrchestraAddon, HostsFile, RulesTab2, SAZClipboardFactory, SimpleFilter, Timeline)'
    }
    for i in agent:
        proxies = {
            'http': 'http://' + i
        }
        try:
            response = requests.get(url, headers=headers, proxies=proxies)
            if response.status_code == 200:
                print(i, '\033[32m可用\033[0m')
                print(response.text)
                with open('ip.txt', 'a', encoding='utf-8') as f:
                    f.write(i + '\n')
        except:
            print(i, '\033[31m不可用\033[0m')


def main():
    for i in range(2, 5):
        url = f'https://www.kuaidaili.com/free/inha/{i}/'
        headers = {
            'User-Agent': 'Fiddler/5.0.20204.45441 (.NET 4.8; WinNT 10.0.19042.0; zh-CN; 8xAMD64; Auto Update; Full Instance; Extensions: APITesting, AutoSaveExt, EventLog, FiddlerOrchestraAddon, HostsFile, RulesTab2, SAZClipboardFactory, SimpleFilter, Timeline)'
        }
        html = get_page(url, headers)
        # print(html)
        agent = analysis(html)
        tes(agent)


if __name__ == '__main__':
    main()