python爬虫之ProxyHandler代理

很多网站会检测某一段时间某个IP的访问次数(通过流量统计，系统日志等)，如果访问次数多的不像正常人，它会禁止这个IP的访问。

如果不使用代理IP时，我们都是通过上面红色通道对服务器进行访问，当访问次数多了，服务器的反爬机制就会禁用我们的ip，当查看到本地ip地址时，就直接返回错误消息。如果我们使用代理ip，当代理ip被禁了，我们可以使用其他的ip继续进行访问。这就是使用代理ip的好处。
所以我们可以设置一些代理服务器，每隔一段时间换一个代理，就算IP被禁止，依然可以换个IP继续爬取。
urllib.request中通过ProxyHandler来设置使用代理服务器，下面代码说明如何使用自定义opener来使用代理：

1. 代理的原理:在请求目的网站之前,先请求代理服务器,然后让代理服务器去请求目的网站,代理服务器拿到目的网站的数据后,再转发给我们的代码。
2. http://httpbin.org:这个网站可以方便的查看http请求的一些参数。
3. 在代码中使用代理

   使用url1ib. request.Proxyhandler,传入一个代理,这个代理是一个字典,字典的key依赖于代理服务器能够接收的类型,一般是http或者https值是ip:port
   使用上一步创建的 handler,以及 request. build_ opener创建一个opener对象。
   用上一步创建的 opener,调用`open函数,发起请求。

from urllib import request

url = "http://httpbin.org/ip"
re =request.urlopen(url)
print(re.read().decode("utf-8"))

handler = request.ProxyHandler({"http":"121.237.148.192:3000"})
opener = request.build_opener(handler)
req = request.Request(url)
se = opener.open(url)
print(se.read().decode("utf-8"))

处理结果如下图，本地的IP地址是120.242.254.180，当我们使用代理时，就可以发现访问服务器时使用的ip地址是121.237.148.192。

以上代码我也上传到git上