Python基于IP反爬虫处理办法之--构建可用代理池

反IP反爬虫方法

本文介绍一种基于IP反爬虫机制的反反爬虫方法，构建可用代理池。
前期准备，注册西刺代理账号，购买专业版代理（或者直接爬取公开的可用代理也行）。为什么推荐购买呢？因为公开的确实很多都不能用。
西刺代理网址：https://www.xicidaili.com/nt/
当你购买完代理后,获取API并复制下来，实现以下代码构建代理池。

代码示例

import requests
from lxml import etree
from fake_useragent import UserAgent

# 获取User-Agent
def get_random_ua():
    ua = UserAgent()
    return ua.random

# 购买代理后复制的API粘贴到此处
url = 'API'

# 获取所有代理IP的地址和端口号
# [{'http':'http://xxxx:xx','https':'https://xxxx:xxx'},]
def get_ip_list():
    # 获取user-agent
    headers = { 'User-Agent' : get_random_ua() }
    # 已知的可用代理IP
    proxies = {
        'http': 'http://182.35.81.10:9999',
        'https': 'https://182.35.81.10:9999'
    }
    html = requests.get(url,proxies=proxies,headers=headers).text
    # 解析
    parse_html = etree.HTML(html)
    # r_list: [<element tr at xxx>,<element tr at xxx>]
    r_list = parse_html.xpath('//tr')
    # 空列表,存放所有ip和port
    proxy_list = []
    # 依次遍历
    for r in r_list[1:]:
        ip = r.xpath('./td[2]/text()')[0]
        port = r.xpath('./td[3]/text()')[0]
        proxy_list.append(
            {
                'http':'http://{}:{}'.format(ip,port),
                'https':'https://{}:{}'.format(ip,port)
            }
        )
    # proxy_list: [{},{},{},{}]
    return proxy_list
    
# 测试代理,建立代理IP池
def proxy_pool():
    # 调用上面函数
    proxy_list = get_ip_list()
    # 可用代理IP列表
    useful_proxy = []
    # 测试代理是否可用
    for proxy in proxy_list:
        # proxy: {'http':'http://xxxx:xx'}
        headers = {'User-Agent':get_random_ua()}
        try:
            res = requests.get(
                url = 'http://httpbin.org/get',
                headers=headers,
                proxies = proxy,
                timeout = 5
            )
            print(res.text)
            useful_proxy.append(proxy)
        except Exception as e:
            print('{}不能用'.format(proxy))
            continue
    return useful_proxy

if __name__ == '__main__':
    proxy_pool()
    #useful_proxy即为我们构建的代理池。

构建完代理池后，我们就可以随机选取代理进行爬虫了。