headers的设置和一些高级特性

一、设置headers

#headers是请求加上头信息，伪装成浏览器访问，不然会被限制

[python]  view plain  copy

1. url = "http://www.server.com/login"  
2. # 设置请求的身份，如果没有，服务器可能会没有响应  
3. user_agent = "Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)"  
4. values = {"username": "geek", "password": "**********"}  
5. # 在headers中设置agent  
6. headers = {"User-Agent": user_agent}  
7. data = urllib.urlencode(values)  
8. # 在request中添加headers  
9. request = urllib2.Request(url, data, headers)  
10. response = urllib2.urlopen(request)  
11. page = response.read()  

二、对付“反盗链”

[python]  view plain  copy

1. # 对付“反盗链”(服务器会识别headers中的referer是不是它自己,如果不是则不响应),构建以下headers  
2. headers = {"User-Agent": "Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)",  
3.            "Referer": "http://www.zhihu.com/articles"}  

三、headers的一些其他属性

[python]  view plain  copy

1. # headers的一些其他属性：  
2. # User-Agent : 有些服务器或 Proxy 会通过该值来判断是否是浏览器发出的请求  
3. # Content-Type : 在使用 REST 接口时，服务器会检查该值，用来确定 HTTP Body 中的内容该怎样解析。  
4. # application/xml ： 在 XML RPC，如 RESTful/SOAP 调用时使用  
5. # application/json ： 在 JSON RPC 调用时使用  
6. # application/x-www-form-urlencoded ： 浏览器提交 Web 表单时使用  
7. # 在使用服务器提供的 RESTful 或 SOAP 服务时， Content-Type 设置错误会导致服务器拒绝服务  

四、设置代理

[python]  view plain  copy

1. # Proxy(代理)的设置  
2. # urllib2 默认会使用环境变量 http_proxy 来设置 HTTP Proxy。  
3. # 假如一个网站它会检测某一段时间某个IP 的访问次数，如果访问次数过多，它会禁止你的访问。  
4. # 所以可以设置一些代理服务器来帮助你做工作，每隔一段时间换一个代理  
5. enable_proxy = True  
6. proxy_handler = urllib2.ProxyHandler({"http": 'http://some-proxy.com:8080'})  
7. null_proxy_handler = urllib2.ProxyHandler({})  
8. if enable_proxy:  
9.     opener = urllib2.build_opener(proxy_handler)  
10. else:  
11.     opener = urllib2.build_opener(null_proxy_handler)  
12. urllib2.install_opener(opener)  

五、timeout的设置

[python]  view plain  copy

1. # Timeout设置  
2. # 为了解决一些网站实在响应过慢而造成的影响  
3. # 如果第二个参数data为空那么要特别指定是timeout是多少，写明形参，如果data已经传入，则不必声明  
4. response = urllib2.urlopen('http://www.baidu.com', timeout=10)  
5. response = urllib2.urlopen('http://www.baidu.com', data, 10)  

六、http的六种协议

[python]  view plain  copy

1. # http协议有六种请求方法，get,head,put,delete,post,options，我们有时候需要用到PUT方式或者DELETE方式请求  
2. # PUT：这个方法比较少见。HTML表单也不支持这个。  
3. # 本质上来讲， PUT和POST极为相似，都是向服务器发送数据，但它们之间有一个重要区别，PUT通常指定了资源的存放位置，而POST则没有，POST的数据存放位置由服务器自己决定。  
4. # DELETE：删除某一个资源。  
5. request = urllib2.Request(url, data=data)  
6. request.get_method = lambda: 'PUT'  # or 'DELETE'  
7. response = urllib2.urlopen(request)  
8. # 可以通过下面的方法把 Debug Log 打开，这样收发包的内容就会在屏幕上打印出来，方便调试  
9. httpHandler = urllib2.HTTPHandler(debuglevel=1)  
10. httpsHandler = urllib2.HTTPSHandler(debuglevel=1)  
11. opener = urllib2.build_opener(httpHandler, httpsHandler)  
12. urllib2.install_opener(opener)  
13. response = urllib2.urlopen('http://www.baidu.com')