爬虫之代理ip

1.了解代理ip
http://www.360doc.com/content/13/1217/10/14919052_337800783.shtml
2.使用代理
这里推荐两种方式：
（1）使用requests库

import requests

head = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2661.102 Safari/537.36'}
# http://icanhazip.com会返回当前的IP地址，由此可判断代理ip是否使用成功
url = ' http://icanhazip.com ' 
proxies = {
     ' http ' : ' 127.0.0.1:8080 ' ,
     ' https ' : ' 127.0.0.1:8080 '
}
r = requests.get(url,headers=head,proxies= proxies)
 print (r.text)

当然，如果你有许多个代理ip，你可以设置一个ip池，如下：

import requests
import random

head = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2661.102 Safari/537.36'}
# http://icanhazip.com会返回当前的IP地址，由此可判断代理ip是否使用成功
url = ' http://icanhazip.com ' 
#ip池
iplist = ['115.46.96.108:8123','106.75.164.15:3128','106.75.226.36:808','116.1.11.19:80','60.208.32.201:80']
proxies = {
     ' http ' : random.choice(iplist) ,
     ' https ' : random.choice(iplist)
}
r = requests.get(url,headers=head,proxies= proxies)
 print (r.text)

这里有个值得注意的地方，就是你请求的url使用的是什么协议（http或https），代理ip就是这里的proxies字典就会选择相应的键，这里主要针对只在proxies字典里写一个协议的同学，一般情况建议把两个协议都写上。
(2) 使用urllib2包中的ProxyHandler类

import urllib2

url = ' http://icanhazip.com ' 
proxy = urllib2.ProxyHandler({'http': '127.0.0.1:8087', ' https ' : ' 127.0.0.1:8080 '})

#定制opener
opener = urllib2.build_opener(proxy)

#add_handler给加上伪装
opener.add_handler=[('User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2661.102 Safari/537.36)]
urllib2.install_opener(opener)
response = urllib2.urlopen(url)

print response.read()