构造合理的 HTTP 请求头
为什么要伪装?
- 有些网站在处理请求的时候,会对请求头中的字段进行判断,如果发现这个请求头中出现有关爬虫程序的信息,会对这个请求做出禁止访问或者封杀的操作,因此我们需要对请求进行伪装,让网站无法分别请求是否为爬虫。
分析:
爬虫爬取网页时:
经典的 Python 爬虫在使用 urllib 标准库时,都会发送如下的请求头:
浏览器获取网页时:
浏览器用来初始化所有网络请求:
可以看到是:Mozilla/5.0 (Windows NT 6.1; WOW64) …
- 虽然网站可能会对 HTTP 请求头的每个属性进行“是否具有人性”的检查,但是我发现通常真正重要的参数就是
User-Agent。无论做什么项目,一定要记得把 User-Agent 属性设置成不容易引起怀疑的内容,不要用
Python-urllib/3.4。另外,如果你正在处理一个警觉性非常高的网站,就要注意那些经常用却很少检查的请求头,比如
Accept-Language 属性,也许它正是那个网站判断你是个人类访问者的关键。
具体操作:
import urllib2
url = 'http://www.baidu.com'
#创建一个request请求对象
# 1.url 2.URL参数 3.headers 请求头字典
headers = {
'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:54.0) '
'Gecko/20100101 Firefox/54.0',
}
request = urllib2.Request(url,headers = headers)
urllib2.urlopen(request)
这时候我们再抓包看看这个请求头是否改变了
Request
- urlopen方法也可通过建立了一个Request对象来明确指明想要获取的url。调用urlopen函数对请求的url返回一个response对象。这个response类似于一个file对象,所以用.read()函数可以操作这个response对象
Request类是一个抽象的URL请求
urllib2.Request(url[, data][, headers][,originreqhost][, unverifiable])
Request类中的构
def __init__(self, url, data=None, headers={},
origin_req_host=None,unverifiable=False)
重要的3个参数说明如下:
- URL 是一个字符串,其中包括一个有效的URL。
- data 是一个字符串,指定额外的数据发送到服务器,如果没有data需要发送可为”None”。目前使用data的HTTP请求是唯一的。当请求含有data参数时,HTTP的请求是POST,而不是GET。
- headers 是字典类型,字典可以作为参数在request时直接传入,也可以把每个键和值作为参数调用add_header()方法来添加。
作为辨别浏览器身份的User-Agent hader是经常被用来恶搞和伪装的。因为一些HTTP服务只允许默写请求来自常见的浏览器而不是脚本,或是针对不同的浏览器返回不同的版本
设置ip代理
为什么要使用ip代理:
有些网站服务器,会检测ip发起的请求,如果同一个ip请求次数过多,会进行限制访问,导致爬虫失败。
import urllib2
url = 'http://www.baidu.com'
headers = {
'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:54.0) '
'Gecko/20100101 Firefox/54.0',
}
request = urllib2.Request(url,headers = headers)
'''
urllib2.urlopen()中没有关于ip代理的内容,如果要使用ip代理,需要自己重新
创建一个openner对象,设置ip代理
字典中存放ip代理的地址和端口
'''
proxies = {'http':'127.0.0.1:2345'}
#根据字典创建代理对象
proxy_handler = urllib2.ProxyHandler(proxies)
#自己创建一个用于发送请求的opener对象
opener = urllib2.build_opener(proxy_handler)
#使用自己创建的opener对象发起请求
response = opener.open(request)
print response.read()