Spider——urllib2添加headers和设置代理

为了伪装成一个正常的浏览器去爬取数据，我们就需要在程序中对我们的请求进行一些必要的包装。比如设置headers模仿一个正常浏览器访问，设置代理，防止ip屏蔽。

设置headers

• 构造headers加入到请求中

import urllib2

url = "http://www.baidu.cn"
header = {"User-Agent" : "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0;"} 

#  url 连同 headers，一起构造Request请求
request = urllib2.Request(url, headers = header)
# 向服务器发送这个请求
response = urllib2.urlopen(request)
html = response.read()
print html

• 添加特定header

response.add_header("Connection":"keep-alive")

设置代理

urllib2中通过ProxyHandler来设置使用代理服务器

import urllib2

# 构建代理Handler
httpproxy_handler = urllib2.ProxyHandler({"http" : "124.88.67.81:80"})
proxySwitch = True #定义一个代理开关

# 通过 urllib2.build_opener()方法使用这些代理Handler对象，创建自定义opener对象
opener = urllib2.build_opener(httpproxy_handler)
request = urllib2.Request("http://www.baidu.com/")

# 1. 只有使用opener.open()方法发送请求才使用自定义的代理。
response = opener.open(request)

# 2. 将opener应用到全局，opener.open()和urlopen()使用自定义代理。
# urllib2.install_opener(opener)
# response = urlopen(request)

print response.read()