Python爬虫IP代理的设置

**

一、使用代理 IP，这是爬虫/反爬虫的第二大招，通常也是最好用的。

**
很多网站会检测某一段时间某个 IP 的访问次数(通过流量统计，系统日志等)，如果访
问次数多的不像正常人，它会禁止这个 IP 的访问。所以我们可以设置一些代理服务器，每
隔一段时间换一个代理，就算 IP 被禁止，依然可以换个 IP 继续爬取。
request 中通过 ProxyHandler 来设置使用代理服务器，下面代码说明如何使用自定义
opener 来使用代理：

from urllib import request
#使用代理
httpproxy_handler = request.ProxyHandler({"http":"139.223.222.22:80"})
opener = request.build_opener(httpproxy_handler)
request = request.Request("http://www.baidu.com/")
response = opener.open(request)
print(response.read())

免费的开放代理获取基本没有成本，我们可以在一些代理网站上收集这些免费代理，测
试后如果可以用，就把它收集起来用在爬虫上面，如果代理 IP 足够多，就可以像随机获取 User-Agent 一样，随机选择一个代理去访问网站。

from urllib import request
import random
porxy_list = [
	{"http":"122.222.222.22:80"},
	{"http":"122.222.222.33:80"},
	{"http":"122.222.222.33:808"},
]
随机选择一个代理
proxy=random.choice(proxy_list)
print(proxy)
httpproxy_handler = request.ProxyHandler(proxy)

**

二、如果你用的requests模块,那么会简单的多了

**

import requests
#设置代理ip
proxies = {
	"http":"http://116.209.52.120:9999"
}
response = requests.request("get","http://www.baidu.com",proxies = proxies)
print(response.text)