设置代理服务器

# -*- coding:utf-8 -*-

'''
    在网上找一些代理IP
    代理服务器设置
    proxy_addr:代理服务器地址
    url:要爬取网页地址
'''
import urllib.request

def use_proxy(proxy_addr,url):
    proxy = urllib.request.ProxyHandler({'http':proxy_addr})
    opener = urllib.request.build_opener(proxy,urllib.request.HTTPHandler)
    urllib.request.install_opener(opener)
    data = urllib.request.urlopen(url).read()
    return data

proxy_addr='115.59.129.79:8998'
data = use_proxy(proxy_addr,'http://www.baidu.com')
print(len(data))

若出现urllib.error.URLError: <urlopen error [WinError 10060] 由于连接方在一段时间后没有正确答复或连接的主机没有反应，连接尝试失败。>则代理IP失效,换一个IP即可