Python语言——爬虫使用代理ip池

代理ip池

拓展：代理ip池的方法，可以看出，检测出的ip是ip池中的一个，对吧，很简单对不对，那么怎么来创建ip池呢，也很简单，用动态或者静态方法随便找个匿名ip的网站进行代理ip爬取，然后清洗一下ip，把能用的（测试一个简单的返回状态网页）留下来写到列表里，然后就可以形成ip池啦，最后当某个ip不能用了，那就从池中剔除！ip池制作。

# -*- coding: utf-8 -*-

import urllib2
import random
#使用代理池的方法
ip_list=['119.6.136.122','114.106.77.14']
#使用一组ip调用random函数来随机使用其中一个ip
url = "http://www.ip181.com/"
proxy_support = urllib2.ProxyHandler({'http':random.choice(ip_list)})
#参数是一个字典{'类型':'代理ip:端口号'}
opener = urllib2.build_opener(proxy_support)
#定制opener
opener.add_handler=[('User-Agent','Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/45.0.2454.101 Safari/537.36')]
#add_handler给加上伪装
urllib2.install_opener(opener)
response = urllib2.urlopen(url)

print response.read().decode('gbk')