HTTP协议
HTTP简介
- 超文本(HyperText):包含有链接(Link)和各种多媒体元素标记(Markup)的文本。这些超文本文件彼此链接,形成网状(Web),因此又被称为网页(Web Page)。这些链接使用URL表示。最常见的超文本是超文本标记语言HTML。
- URL:即统一资源定位符(Uniform Resource Locator),用来唯一地标识万维网中的某一个文档。URL由协议。主机和端口(默认为80)以及文件名三部分组成。如:http://(协议://)www.sxtyu.xom:80(主机:端口(80)/)/news/index.html(文件名及其路径)
- HTTP:是一种按照URL指示,将超文本文档从一台主机(Web服务器)传输到另一台主机(浏览器)的应用层协议,以实现超链接的功能。
在用户点击URL为 http://www.sxtyu.com/index.html 的链接后,浏览器好Web服务器执行以下动作:
- 1.浏览器分析超链接中的URL
- 2.浏览器向DNS请求解析 www.sxtyu.com 的IP地址
- 3.DNS将解析出的IP地址202.2.16.21返回浏览器
- 4.浏览器与服务器建立TCP连接(80端口)
- 5.浏览器请求文档:GET/index.html
- 6.服务器给出响应,将文档index.html发送给浏览器
- 7.释放TCP连接
- 8.浏览器显示index.html中的内容
非持久连接
- 即浏览器每请求一个Web文档,就创建一个新的连接,当文档传输完毕后 ,连接就立刻被释放。
- HTTP1.0、HTTP0.9采用此连接
- 对于请求的Web页中包含多个其他文档对象(如图像、声音、视频等)的链接的情况,由于请求每个链接对应的文档都要创建新链接,效率低下。
持久连接
- 即在一个链接中,可以进行多次文档的请求和响应。服务器在发送响应后,并不立即释放连接,浏览器可以使用该连接继续请求其他文档。连接保持的时间可以由双方进行协商。
无状态性
- 是指同一个客户端(浏览器)第二次访问同一个Web服务器上的页面时,服务器无法知道这个客户曾经访问过。HTTP的无状态性简化了服务器的设计,使其更容易支持大量并发的HTTP请求。
HTTP报文结构
请求报文
- 即从客户端(浏览器)向Web服务器发送的请求报文。报文的所有字段都是ASCII码。
返回报文
- 即从Web服务器到客户端(浏览器)的应答。报文的所有字段都是ASCII码。
请求报文中的方法
- 方法(Method)是对所有请求对象所进行的操作,也就是一些命令。请求报文中的所有操作有:
- GET:请求读取一个Web页面
- POST:附加一个命名资源(如Web页面)
- DELETE:删除Web页面
- CONNECT:用于代理服务器
- HEAD:请求读取一个Web页面的首部
- PUT:请求存储一个Web页面
- TRACE:用于测试,要求服务器送回收到的请求
- OPTION:查询特定选项
响应报文中的状态码
状态码(Status-Code)是响应报文状态行中包含的一个3位数字,指明特定的请求是否被满足,如果没有满足,原因是什么。状态码分为以下五类:
状态码 | 含义 | 例子 |
1xx | 通知信息 | 100=服务器正在处理客户请求 |
2xx | 成功 | 200=请求成功(OK) |
3xx | 重定向 | 301=页面改变了位置 |
4xx | 客户错误 | 403=禁止的页面;404=页面未找到 |
5xx | 服务器错误 | 500=服务器内部错误;503=以后再试 |
- 具体各状态码的含义,请参考W3C的HTTP1.1标准规范RFC2616
首部字段或消息头
头(header) | 类型 | 说明 |
User-Agent | 请求 | 关于浏览器和它平台的信息,如Mozilla5.0 |
Accept | 请求 | 客户能处理的页面的类型,如text/html |
Accept-Charset | 请求 | 客户可以接受的字符集,如Unicode-1-1 |
Accept-Encoding | 请求 | 客户能处理的页面编码方法,如gzip |
Accept-Language | 请求 | 客户能处理的自然语言,如en(英语)、zh-cn(简体中文) |
Host | 请求 | 服务器的DNS名称。从URL中提取处理,必需。 |
Authorization | 请求 | 客户的信息凭据列表 |
Cookie | 请求 | 将以前设置的Cookie送回服务器,可用来作为会话信息 |
Date | 双向 | 消息被发送时的日期和时间 |
Server | 响应 | 关于服务器的信息,如Microsoft-IIS/6.0 |
Content-Encoding | 响应 | 内容是如何被编码的(gzip) |
Content-Language | 响应 | 页面所使用的自然语言 |
Content-Length | 响应 | 以字节计算的字节长度 |
Content-Type | 响应 | 页面的MIME类型 |
Last-Modified | 响应 | 页面最后被修改的时间和日期,在页面缓存机制中意义重大 |
Location | 响应 | 指示客户将请求发送给别处,即重定向到另一个URL |
Set-Cookie | 响应 | 服务器希望客户保存一个Cookie |
报文结构实例
- 请求 www.baidu.com 时的返回头文件
- General
- Request URL: https://www.baidu.com/
- Request Method: GET
- Status Code: 200 OK
- Remote Address: 119.75.213.61:443
- Referrer Policy: no-referrer-when-downgrade
- Response Header
- HTTP/1.1 200 OK
- Bdpagetype: 1
- Bdqid: 0x9085388700019bf7
- Cache-Control: private
- Connection: Keep-Alive
- Content-Encoding: gzip
- Content-Type: text/html
- Cxy_all: baidu+1ec559cf68a7aa4a3686deb9339c619a
- Date: Sun, 15 Jul 2018 08:33:37 GMT
- Expires: Sun, 15 Jul 2018 08:32:50 GMT
- Server: BWS/1.1
- Set-Cookie: BDSVRTM=0; path=/
- Set-Cookie: BD_HOME=0; path=/
- Set-Cookie: H_PS_PSSID=1455_26433_21096_18559_26350_20930; path=/; domain=.baidu.com
- Strict-Transport-Security: max-age=172800
- Vary: Accept-Encoding
- X-Ua-Compatible: IE=Edge,chrome=1
- Transfer-Encoding: chunked
- Request Header
- Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,/;q=0.8
- Accept-Encoding: gzip, deflate, br
- Accept-Language: zh-CN,zh;q=0.9
- Cache-Control: no-cache
- Connection: keep-alive
- Cookie: BAIDUID=01316B4CFA260ABC4134B0E2EAAE5AE9:FG=1; BIDUPSID=01316B4CFA260ABC4134B0E2EAAE5AE9; PSTM=1513852327; __cfduid=d0deb43cfccca6142401388cc3908eea61521620771; MCITY=-%3A; sug=3; sugstore=0; ORIGIN=2; bdime=0; BD_UPN=12314353; BDORZ=B490B5EBF6F3CD402E515D22BCDA1598; BDSFRCVID=ppKsJeCCxG3wW0b7siHpjnd3NiUdQvfiKQYI3J; H_BDCLCKID_SF=tRk8oKPyJKvhKROmK4r2q4tehHRjbUneWDTm5-nTt-3Rhb_6KPr1K-IHbabwalQbL6chBlvlylI5OCcnK4-XD6Q0eHQP; BD_CK_SAM=1; PSINO=1; H_PS_PSSID=1455_26433_21096_18559_26350_20930; H_PS_645EC=678dd2FJdRJMzCOvLAajSA3Iy17n1MpCniMhU4IxIp5uJ7oShBuWJBfMsIs; BD_HOME=0
- Host: www.baidu.com
- Pragma: no-cache
- Upgrade-Insecure-Requests: 1
- User-Agent: Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.146 Safari/537.36
HTTP 代理
什么是HTTP代理
- HTTP代理又称Web缓存或代理服务器(Proxy Server),是一种网络实体,能代表浏览器发出HTTP请求,并将最近的一些请求和响应暂存在本地磁盘中,当请求的Web页面先前暂存过,则直接将暂存的页面发给客户端(浏览器),无法再次访问Internet。
使用HTTP代理的Web访问过程
- 浏览器向HTTP代理发出页面请求---->HTTP代理查找缓存页面--找到-->用缓存页面响应请求
- 浏览器向HTTP代理发出页面请求---->HTTP代理查找缓存页面--未找到-->代表浏览器向源Web服务器发出请求---->源Web服务器响应HTTP代理---->HTTP代理缓存请求到的页面---->将请求到的页面响应给浏览器