目录
1.常见请求头
- GET:在浏览器中直接输入 URL 并回车,这便发起了一个 GET 请求,请求的参数会直接包含到 URL里。例如,在百度中搜索888,这就是一个 GET 请求,链接为 https://www. baidu.com/?wd=888,其中 URL 中包含了请求的参数信息,这里参数 wd 表示要搜寻的关键字 。
- POST: 请求大多在表单提交时发起。比如,对于一个登录表单,输入用户名和密码后,点击“登录”按钮,这通常会发起一个 POST请求,其数据通常以表单的形式传输,而不会体现在 URL中。
GET和POST区别
GET 请求提交的数据最多只有 1024 字节,而 POST 方式没有限制。
GET 请求中的参数包含在 URL 里面,数据可以在 URL 中看到,而 POST 请求的 URL 会包含 这些数据,数据都是通过表单形式传输的,会包含在请求体中。
一般,登录时,需要提交用户名和密码,其中包含了敏感信息,所以使用 POST 方式发送,上传文件时,由于文件内容比较大,也会选用 POST 方式。
- Host:当前访问的主域名,如:www.baidu.com
- User-Agent:用户代理,简称UA,当前服务器操作系统版本 浏览器版本。在做爬虫时加上此信息,可以伪装为浏览器;如果不加,很可能会被识别出为爬虫。
- Accept:接收文件的类型
- referer: 从哪里来(标识这个请求是从哪个页面发过来的);Referer是header的一部分,当浏览器向web服务器发送请求的时候,一般会带 上Referer,告诉服务器该网页是从哪个页面链接过来的,服务器因此可以获得一些信息用于处理。例如,在www.baidu.com 里有一个www.xiaoming.com 链接,那么点击这个www.xiaoming.com ,它的header 信息里就有: Referer=http://www.baidu.com
referer:host
- cookie:小型文本文件,标识每个人的身份,独一无二,获取cookie可以登录个人账号。
- x-forwarded-for:一个扩展头,表示http请求端的IP,(事实上的标准,不可靠),代理服务器将客户端的IP地址放在X-Forwarded-For请求头中,多个IP地址之间用逗号分隔。可由client-ip代替。
例:X-Forwarded-For: 192.168.1.1, 192.168.2.1。
例:x-forwarded-for:127.0.0.1
- Proxy-client-ip:一些代理服务器会将客户端的IP地址放在Proxy-Client-IP请求头中(Proxy-可省略) 例如:Proxy-Client-IP: 192.168.1.
2. 常用响应头
响应头 | 说明 | 示例 | 状态 |
---|---|---|---|
Access-Control-Allow-Origin | 指定哪些网站可以跨域源资源共享 | Access-Control-Allow-Origin: * | 临时 |
Accept-Patch | 指定服务器所支持的文档补丁格式 | Accept-Patch: text/example;charset=utf-8 | 固定 |
Accept-Ranges | 服务器所支持的内容范围 | Accept-Ranges: bytes | 固定 |
Age | 响应对象在代理缓存中存在的时间,以秒为单位 | Age: 12 | 固定 |
Allow | 对于特定资源的有效动作; | Allow: GET, HEAD | 固定 |
Cache-Control | 通知从服务器到客户端内的所有缓存机制,表示它们是否可以缓存这个对象及缓存有效时间。其单位为秒 | Cache-Control: max-age=3600 | 固定 |
Connection | 针对该连接所预期的选项 | Connection: close | 固定 |
Content-Disposition | 对已知MIME类型资源的描述,浏览器可以根据这个响应头决定是对返回资源的动作,如:将其下载或是打开。 | Content-Disposition: attachment; filename="fname.ext" | 固定 |
Content-Encoding | 响应资源所使用的编码类型。 | Content-Encoding: gzip | 固定 |
Content-Language | 响就内容所使用的语言 | Content-Language: zh-cn | 固定 |
Content-Length | 响应消息体的长度,用8进制字节表示 | Content-Length: 348 | 固定 |
Content-Location | 所返回的数据的一个候选位置 | Content-Location: /index.htm | 固定 |
Content-MD5 | 响应内容的二进制 MD5 散列值,以 Base64 方式编码 | Content-MD5: IDK0iSsgSW50ZWd0DiJUi== | 已淘汰 |
Content-Range | 如果是响应部分消息,表示属于完整消息的哪个部分 | Content-Range: bytes 21010-47021/47022 | 固定 |
Content-Type | 当前内容的MIME 类型 | Content-Type: text/html; charset=utf-8 | 固定 |
Date | 此条消息被发送时的日期和时间(以RFC 7231中定义的"HTTP日期"格式来表示) | Date: Tue, 15 Nov 1994 08:12:31 GMT | 固定 |
ETag | 对于某个资源的某个特定版本的一个标识符,通常是一个 消息散列 | ETag: "737060cd8c284d8af7ad3082f209582d" | 固定 |
Expires | 指定一个日期/时间,超过该时间则认为此回应已经过期 | Expires: Thu, 01 Dec 1994 16:00:00 GMT | 固定: 标准 |
Last-Modified | 所请求的对象的最后修改日期(按照 RFC 7231 中定义的“超文本传输协议日期”格式来表示) | Last-Modified: Dec, 26 Dec 2015 17:30:00 GMT | 固定 |
Link | 用来表示与另一个资源之间的类型关系,此类型关系是在RFC 5988中定义 | Link: ; rel="alternate" | 固定 |
Location | 用于在进行重定向,或在创建了某个新资源时使用。 | Location: http://www.itbilu.com/nodejs | 固定 |
P3P | P3P策略相关设置 | P3P: CP="This is not a P3P policy! | 固定 |
Pragma | 与具体的实现相关,这些响应头可能在请求/回应链中的不同时候产生不同的效果 | Pragma: no-cache | 固定 |
Proxy-Authenticate | 要求在访问代理时提供身份认证信息。 | Proxy-Authenticate: Basic | 固定 |
Public-Key-Pins | 用于防止中间攻击,声明网站认证中传输层安全协议的证书散列值 | Public-Key-Pins: max-age=2592000; pin-sha256="……"; | 固定 |
Refresh | 用于重定向,或者当一个新的资源被创建时。默认会在5秒后刷新重定向。 | Refresh: 5; url=http://itbilu.com | |
Retry-After | 如果某个实体临时不可用,那么此协议头用于告知客户端稍后重试。其值可以是一个特定的时间段(以秒为单位)或一个超文本传输协议日期。 |
| 固定 |
Server | 服务器的名称 | Server: nginx/1.6.3 | 固定 |
Set-Cookie | 设置HTTP cookie | Set-Cookie: UserID=itbilu; Max-Age=3600; Version=1 | 固定: 标准 |
Status | 通用网关接口的响应头字段,用来说明当前HTTP连接的响应状态。 | Status: 200 OK | |
Trailer | Trailer 用户说明传输中分块编码的编码信息 | Trailer: Max-Forwards | 固定 |
Transfer-Encoding | 用表示实体传输给用户的编码形式。包括:chunked 、compress 、 deflate 、gzip 、identity 。 | Transfer-Encoding: chunked | 固定 |
Upgrade | 要求客户端升级到另一个高版本协议。 | Upgrade: HTTP/2.0, SHTTP/1.3, IRC/6.9, RTA/x11 | 固定 |
Vary | 告知下游的代理服务器,应当如何对以后的请求协议头进行匹配,以决定是否可使用已缓存的响应内容而不是重新从原服务器请求新的内容。 | Vary: * | 固定 |
Via | 告知代理服务器的客户端,当前响应是通过什么途径发送的。 | Via: 1.0 fred, 1.1 itbilu.com (nginx/1.6.3) | 固定 |
Warning | 一般性警告,告知在实体内容体中可能存在错误。 | Warning: 199 Miscellaneous warning | 固定 |
WWW-Authenticate | 表示在请求获取这个实体时应当使用的认证模式。 | WWW-Authenticate: Basic | 固定 |