Spider——urllib2添加headers和设置代理

为了伪装成一个正常的浏览器去爬取数据,我们就需要在程序中对我们的请求进行一些必要的包装。比如设置headers模仿一个正常浏览器访问,设置代理,防止ip屏蔽。

设置headers
  • 构造headers加入到请求中
import urllib2

url = "http://www.baidu.cn"
header = {"User-Agent" : "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0;"} 

#  url 连同 headers,一起构造Request请求
request = urllib2.Request(url, headers = header)
# 向服务器发送这个请求
response = urllib2.urlopen(request)
html = response.read()
print html
  • 添加特定header
response.add_header("Connection":"keep-alive")
设置代理

urllib2中通过ProxyHandler来设置使用代理服务器

import urllib2

# 构建代理Handler
httpproxy_handler = urllib2.ProxyHandler({"http" : "124.88.67.81:80"})
proxySwitch = True #定义一个代理开关

# 通过 urllib2.build_opener()方法使用这些代理Handler对象,创建自定义opener对象
opener = urllib2.build_opener(httpproxy_handler)
request = urllib2.Request("http://www.baidu.com/")

# 1. 只有使用opener.open()方法发送请求才使用自定义的代理。
response = opener.open(request)

# 2. 将opener应用到全局,opener.open()和urlopen()使用自定义代理。
# urllib2.install_opener(opener)
# response = urlopen(request)

print response.read()
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值