python爬虫代理的使用

python 爬虫代理的使用

from urllib.error import URLError
from urllib.request import ProxyHandler,build_opener
proxy_handler=ProxyHandler({
	'http':'http://127.0.0.1:9743'
	'https':'https://127.0.0.1:9743'
})
opener=build_opener(proxy_handler)
try:
	response=opener.open('http://www.baidu.com')
	print(response.read().decode('utf-8'))
except URLError as e:
	print(e.reason)

*这是添加代理的代码，它运行在9743端口上。
这里使用了 ProxyHandler，其参数是一个字典，键名是协议类型（比如 HTTP 或者 HTTPS 等），键值是代理链接，可以添加多个代理。
然后，利用这个 Handler 及 build_opener 方法构造一个 Opener，之后发送请求即可