爬虫的Http报头信息总结

常见的请求(Request)报头：

请求报头的作用是允许客户端向服务器端传递请求的附加信息以及客户端自身的信息；

Accept：用于指定客户端接受哪些类型的信息；

Accept-Charset：用于指定客户端接受的字符集；

Accept-Encoding：用于指定可接受的内容编码；

Accept-Language：用于指定一种自然语言；

Authorization：用于证明客户端有权查看某个资源；

Host：用于指定被请求资源的Internet主机和端口号,它通常从Http url中提取出来；

User-agent：允许客户端将它的操作系统，浏览器和其他属性告诉服务器

常见的响应(Response)报头：

响应报头允许服务器传递不能放在状态行中的附加响应信息，以及关于服务器的信息和对Request-URI所标识的资源进行下一步访问的信息；

Location:用于重定向接收者到一个新的位置；

Server：包含了服务器用来处理请求的软件信息，与User-Agent请求报头域是相对应的；

WWW-Authenticate：此响应报头域必须被包含在401的响应消息中，客户端收到401响应消息，并发送Authorization报头域请求服务器对其进行验证时,服务器端响应报头就包含该报头域；

Cookie状态管理：

Cookie将状态保存为客户端，Cookie是服务器在本地机器上存储的一小段文本并随每一个请求发送至同一个服务器。网络服务器用HTTP头向客户端发送Cookie,浏览器则会解析这些Cookie并将它们保存为一个本地文件,它会自动将同一服务器的任何请求绑定上这些Cookie。

HTTP的请求方式：

Get方式：是以实体的方式得到由请求URL所指定资源的信息，如果请求URL只是一个数据产生过程，那么最终要在响应实体中返回的是处理过程的结果所指向的资源，而不是处理过程的描述。

Post方式：用来向目的服务器发出请求，要求它接受被附在请求后的实体，并把它当作请求队列中请求URL所指定资源的附加新子项；

区别在于：在客户端Get方式通过url提交数据，数据在url中可以看到,参数会显示在地址栏上：POST方式，数据放置在实体区内提交。