python爬虫④-----requests高级用法

requests高级用法

1. 设置请求头
2. 设置代理服务器IP
3. cookie session

 

设置请求头（headers）

在爬虫操作中，经常需要携带请求头信息(比如User-Agent、Referer、Host、Origin、Cookie)才能正常访问。

• User-Agent : 浏览器名称，服务器可以知道该请求是从哪个浏览器过来的，在爬虫中经常需要设置这个参数来伪装我们的请求是从浏览器中过来的，这个值也是我们最经常应用的；
• Referer : 表示当前请求是从哪个url过来的，在有些反爬虫请求中，如果不是从指定页面访问该请求，就不会有相关响应；
• Host : 标识请求将要达到那台主机，并会在服务端被验证，如果不符合，就不能正确处理客户端的请求；
• Origin : 说明最初请求是从哪里发起的。Referer显示来源页面的完整地址，而Origin显示来源页面的Origin: protocal+host，不包含路径等信息，也就不会包含含有用户信息的敏感内容，跟Referer相似，但是Origin只能用于post请求。Referer适用于所有请求；因此Origin较Referer更安全，多用于防范CSRF攻击；
• Cookie : http协议是无状态的， 服务器无法区分多个请求是否来自同一个人，因此需要用cookie来进行标识，一般如果需要登录才能访问的网站就需要发送cookie信息。

get