装饰器应用之校验代理IP

使用代理IP，是数据爬取过程中最常用的反爬手段之一。
有经费的，可以订购代理ip提供商的套餐使用，没有的也不担心，许多网站通常都提供了较多的免费代理来吸引客户。我们可以抓取这些免费的代理，来构建自己的代理IP池。
将代理抓取到本地后，因为免费的时效性都较短，所以需要进行二次校验。这一步，你可以定义一个通用的函数，或者，使用更简洁高效的装饰器。
校验分两步：

1. 正则校验代理ip的格式是否正确
2. requests添加代理请求目标网站，检验代理是否有效

实例如下：

from functools import wraps
import re
import requests
#目标网址
CHECK_URL = 'https://www.baidu.com'
#请求头
HEADERS = {'User-Agent': 'Mozilla/5.0 (X11; CrOS i686 2268.111.0) AppleWebKit/536.11 (KHTML, like Gecko) Chrome/20.0.1132.57 Safari/536.11'}
#请求超时设置/秒
TIMEOUT = 5

'''
 ip格式检测装饰器
:param ip:代理ip
:param port:代理端口
'''
def check_proxy_format(func):
    @wraps(func)
    def format_wrapper(*args,**kwargs):
        ip,port = args[:2]
        if re.match('[0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3}$',ip) and (port>0 and port<65535):
            return func(*args,**kwargs)
        print('代理：%s:%d 格式错误'%(ip,port))
    return format_wrapper

'''
 代理有效性检测装饰器
 :param ip:代理ip
 :param port:代理端口
 :param ptype:协议类型
'''
def check_proxy_valid(func):
    @wraps(func)
    def valid_wrapper(*args,**kwargs):
        ip, port,ptype = args
        proxy = {ptype:'{}://{}:{}'.format(ptype,ip,port)}
        try:
            requests.packages.urllib3.disable_warnings() #忽略告警
            resp = requests.get(CHECK_URL,headers=HEADERS,proxies=proxy,verify=False,allow_redirects=False,timeout=TIMEOUT)
            if resp.status_code==200:
                print('代理:',ip+':'+str(port),'有效')
                return func(*args,**kwargs)
        except Exception as e:
            print('代理：%s:%d无效'%(ip,port))
    return valid_wrapper

@check_proxy_format
@check_proxy_valid
def test(ip,port,ptype):
    return True

test('218.60.8.99',3129,'http') #格式正确测试用例 1
test('118.30.82.54',3629,'http') #格式正确测试用例 2
test('2523.60.8.99',5179,'http')#格式错误测试用例

结果：

代理: 218.60.8.99:3129 有效
代理：118.30.82.54:3629无效
代理：2523.60.8.99:5179 格式错误

使用了多重装饰器进行装饰，不太懂的建议看下博主之前的文章。

博主其他文章推荐：

[1] 【python实用特性】- 迭代、可迭代对象、迭代器

[2] 【python实用特性】- 列表生成式

[3] 【python实用特性】- yield生成器

[4] 【python实用特性】- 装饰器

[5] 【Matplotlib】-自定义坐标轴刻度完成20万+数据的可视化

[6] Python+selenium实现自动爬取实例

[7] python爬取豆瓣Top250-改进版

[8] requests设置请求头、代理

[9] requests使用session保持会话