爬虫HTTP基础

一、HTTP协议，超文本传输协议。

二、HTTP协议把一条消息分为三大块内容：

   1. 请求：

                  请求行（请求方式，url地址，协议）、

                  请求头（服务器需要的附加信息）、

                  请求体（一般放一些请求方式）

   2.响应： 

               状态行（协议、状态码）200 302 404 500

               响应头（放一些客户端要使用的一些附加信息）

               响应体（服务器返回的真正客户端要用的内容）

三、内容

请求头重要内容：

1.User-Agent:请求载体的身份标识（用啥发送的请求）

2.Referer：防盗链（请求从哪个页面来的）

3.cookie：本地字符串的数据信息

响应头重要内容:

1.cookie

2.各种奇怪字符