很多网站会检测某一段时间某个ip的访问次数,如果访问次数多的不像正常人,它会禁止这个IP的访问。
ProxyHandle处理器(代理):
1、代理原理:在请求目的的网站之前,先请求代理服务器,然后让代理服务器去请求目的网站,代理服务器拿到目的网站的数据后,再转给我们的代码。
2.http://httpbin.org; 这个网站可以方便的查看http请求的一些参数。
3、在代码中使用代理:
• 使用"urllib.request.ProxyHandler",传入一个代理,这个代理是一个字典,字典的key依赖于代理服务器能够接受的类型,一般时”http“和"http",值是”ip:port“
• 使用上一步创建的"handler",以及"request.build_opener"创建一个“opener”
• 使用上一步创建的"opener".,调用"open"函数
from urllib import request
#没有使用代理
'''
url='http://httpbin.org/ip'
resp=request.urlopen(url)
print(resp.read())'
'''
#使用代理
#1使用ProxyHandler,传入代理构建一个handler
url='http://httpbin.org/ip'
handler= request.ProxyHandler({"http":"27.191.234.69:9999"})
#2使用上面创建的handler构建一个opener
opener=request.build_opener(handler)
#3使用opener发送一个请求
resp=opener.open(url)
print(resp.read())