爬虫防屏蔽手段之代理服务器实战

使用代理服务器进行信息爬取，可以很好的解决IP限制的问题。
代理IP地址：https://www.xicidaili.com/nn/
代理IP遇到不能用的多尝试几个。

from urllib import request, error


# 使用代理服务器
def use_proxy(url, proxy_addr):
    # https://www.xicidaili.com/nn/
    proxy = request.ProxyHandler({'http': proxy_addr})
    opener = request.build_opener(proxy, request.HTTPHandler)
    # 添加为全局
    request.install_opener(opener)

    data = request.urlopen(url).read().decode('utf-8', 'ignore')
    return data


proxy_addr = '163.204.243.242:9999'

url = 'https://www.hao123.com/'
ret = use_proxy(url, proxy_addr)
print(ret)