HTTP(HyperText Transfer Protocol, 超文本传输协议):是一种用于分布式、协作式和超媒体信息系统的应用层协议。HTTP是万维网的数据通信的基础。
设计HTTP最初的目的是为了提供一种发布和接收HTML页面的方法。通过HTTP或者HTTPS协议请求的资源由统一资源标识符(Uniform Resource Identifiers, URI)来标识。
HTTP的发展是由蒂姆.伯纳斯-李于1989年在欧洲核子研究组织(CERN)所发起。HTTP的标准制定由万维网协会(World Wide Web Consortium, W3C)和互联网工程任务组(Internet Engineering Task Force, IETF)进行协调,最终发布了一系列的RFC,其中最著名的是1999年6月公布的RFC 2616,定义了HTTP协议中现今广泛使用的一个版本----HTTP 1.1. 2014年12月,IETF的Hypertext Transfer Protocol Bis(httpbis)工作小组将HTTP/2标准提议递交至IESG进行讨论,于2015年2月17日被批准。HTTP/2标准于2015年5月以RFC 7540正式发表,取代HTTP 1.1成为HTTP的实现标准。
HTTP协议概述:HTTP是一个客户端终端(用户)和服务器端(网站)请求和应答的标准(TCP)。通过使用网页浏览器、网络爬虫或者其它的工具,客户端发起一个HTTP请求到服务器上指定端口(默认端口为80).我们称这个客户端为用户代理程序(user agent)。应答的服务器上存储着一些资源,比如HTML文件和图像。我们称这个应答服务器为源服务器(origin server)。在用户代理和源服务器中间可能存在多个”中间层”,比如代理服务器、网关或者隧道(tunnel)。尽管TCP/IP协议是互联网上最流行的应用,HTTP协议中,并没有规定必须使用它或它支持的层。事实上,HTTP可以在任何互联网协议上,或其它网络上实现。HTTP假定其下层协议提供可靠的传输。因此,任何能够提供这种保证的协议都可以被其使用。因此也就是其在TCP/IP协议族使用TCP作为其传输层。
通常,由HTTP客户端发起一个请求,创建一个到服务器指定端口(默认是80端口)的TCP连接。HTTP服务器则在那个端口监听客户端的请求。一旦收到请求,服务器会向客户端返回一个状态,比如”HTTP/1.1 200 OK”,以及返回的内容,如请求的文件、错误消息、或者其它信息。
HTTP请求方法:HTTP/1.1协议中共定义了八种方法(也叫”动作”)来以不同方式操作指定的资源:
(1). GET:向指定的资源发出”显示”请求。使用GET方法应该只用在读取数据,而不应当被用于产生”副作用”的操作中,例如在Web Application中。其中一个原因是GET可能会被网络蜘蛛等随意访问。
(2). HEAD:与GET方法一样,都是向服务器发出指定资源的请求。只不过服务器将不传回资源的本文部分。它的好处在于,使用这个方法可以在不必传输全部内容的情况下,就可以获取其中”关于该资源的信息”(元信息或称元数据)。
(3). POST:向指定资源提交数据,请求服务器进行处理(例如提交表单或者上传文件)。数据被包含在请求本文中。这个请求可能会创建新的资源或修改现有资源,或二者皆有。
(4). PUT:向指定资源位置上传其最新内容。
(5). DELETE:请求服务器删除Request-URI所标识的资源。
(6). TRACE:回显服务器收到的请求,主要用于测试或诊断。
(7). OPTIONS:这个方法可使服务器传回该资源所支持的所有HTTP请求方法。用”*”来代替资源名称,向Web服务器发送OPTIONS请求,可以测试服务器功能是否正常运作。
(8). CONNECT:HTTP/1.1协议中预留给能够将连接改为管道方式的代理服务器。通常用于SSL加密服务器的链接(经由非加密的HTTP代理服务器)。
方法名称是区分大小写的。当某个请求所针对的资源不支持对应的请求方法的时候,服务器应答返回状态码405(Method Not Allowed),当服务器不认识或者不支持对应的请求方法的时候,应当返回状态码501(Not Implemented)。
HTTP服务器至少应该实现GET和HEAD方法,其它方法都是可选的。当然,所有的方法支持的实现都应当匹配下述的方法各自的语义定义。此外,除了上述方法,特定的HTTP服务器还能够扩展自定义的方法,例如:PATCH(由RFC 5789指定的方法):用于将局部修改应用到资源。
安全方法:对于GET和HEAD方法而言,除了进行获取资源信息外,这些请求不应当再有其它意义。也就是说,这些方法应当被认为是”安全的”。客户端可能会使用其它”非安全”方法,例如POST, PUT及DELETE,应该以特殊的方式(通常是按钮而不是超链接)告知客户可能的后果(例如一个按钮控制的资金交易),或请求的操作可能是不安全的(例如某个文件将被上传或删除)。但是,不能想当然地认为服务器在处理某个GET请求时不会产生任何副作用。事实上,很多动态资源会把这作为其特性。这里重要的区别在于用户并没有请求这一副作用,因此不应由用户为这些副作用承担责任。
副作用:假如在不考虑诸如错误或者过期等问题的情况下,若干次请求的副作用与单次请求相同或者根本没有副作用,那么这些请求方法就能够被视作”幂等(idempotence)”的。GET,HEAD,PUT和DELETE方法都有这样的幂等属性,同样由于根据协议,OPTIONS,TRACE都不应有副作用,因此也理所当然也是幂等的。假如某个由若干个请求做成的请求序列产生的结果在重复执行这个请求序列或者其中任何一个或多个请求后仍没有发生变化,则这个请求序列便是”幂等”的。但是,可能出现若干个请求做成的请求序列是”非幂等”的,即使这个请求序列中所有执行的请求方法都是幂等的。例如,这个请求序列的结果依赖于某个会在下次执行这个序列的过程中被修改的变量。
版本:超文本传输协议已经演化出了很多版本,它们中的大部分都是向下兼容的。在RFC 2145中描述了HTTP版本号的用法。客户端在请求的开始告诉服务器它采用的协议版本号,而后者则在响应中采用相同或者更早的协议版本。主要版本包括:HTTP/0.9、HTTP/1.0、HTTP/1.1、HTTP/2.0.
HTTP/0.9:已过时。只接受GET一种请求方法,没有在通讯中指定版本号,且不支持请求头。由于该版本不支持POST方法,因此客户端无法向服务器传递太多信息。
HTTP/1.0:这是第一个在通讯中指定版本号的HTTP协议版本,至今仍被广泛采用,特别是在代理服务器中。
HTTP/1.1:持久连接被默认采用,并能很好地配合代理服务器工作。还支持以管道方式在同时发送多个请求,以便降低线路负载,提高传输速度。HTTP/1.1相较于HTTP/1.0协议的区别主要体现在:缓存处理;带宽优化及网络连接的使用;错误通知的管理;消息在网络中的发送;互联网地址的维护;安全性及完整性。
HTTP/2:当前版本,于2015年5月作为互联网标准正式发布。
状态码:所有HTTP响应的第一行都是状态行,依次是当前HTTP版本号,3位数字组成的状态代码,以及描述状态的短语,彼此由空格分隔。状态代码的第一个数字代表当前响应的类型:
1xx消息:请求已被服务器接收,继续处理;
2xx成功:请求已成功被服务器接收、理解、并接受;
3xx重定向:需要后续操作才能完成这一请求;
4xx请求错误:请求含有词法错误或者无法被执行;
5xx服务器错误:服务器在处理某个正确请求时发生错误;
虽然RFC 2616中已经推荐了描述状态的短语,例如"200 OK","404 Not Found",但是WEB开发者仍然能够自行决定采用何种短语,用以显示本地化的状态描述或者自定义信息。
持续连线:在HTTP 0.9和1.0中,TCP连线在每一次请求/回应对之后关闭。在HTTP 1.1中,引入了保持连线的机制,一个连接可以重复在多个请求/回应使用。持续连线的方式可以大大减少等待时间,因为在发出第一个请求后,双方不需要重新运行TCP握手程序。HTTP 1.1还改进了HTTP 1.0的带宽。例如,HTTP 1.1引入了分块传输编码,以允许传递内容可以在持续连在线被流传输而不必使用到缓冲器。HTTP管道允许客户端在收到每个回应之前发送多个请求,进一步减少用户感受到的滞后时间。协议的另一个补充是字节服务,允许客户端请求资源的某一部分,服务器仅回应某资源的指明部分。
常用字段含义:
(1). Content-Type字段:指出数据的格式。常见的值为:text/plain, text/html, text/css, image/jpeg, image/png, image/svg+xml, audio/mp4, video/mp4, application/javascript, application/pdf, application/zip, application/atom+xml等。这些数据类型总称为MIME type,每个值包括一级类型和二级类型,之间用斜杠分隔。除了预定义的类型,也可以自定义类型,如application/json。MIME type还可以在尾部使用分号,添加参数。
(2). Content-Encoding字段:由于发送的数据可以是任何格式,因此可以把数据压缩后再发送。Content-Encoding字段说明数据的压缩方法。支持的压缩方法有gzip, compress, deflate等。
(3). Content-Length字段:声明本次回应的数据长度。
(4). Host字段:用来指定服务器的域名。有了Host字段,就可以将请求发往同一台服务器上的不同网站。
HTTP/1.1版的头信息肯定是文本(ASCII编码),数据体可以是文本,也可以是二进制。HTTP/2则是一个彻底的二进制协议,头信息和数据体都是二进制,并且统称为”帧”(frame):头信息帧和数据帧。
HTTP协议工作于客户端----服务端架构上。浏览器作为HTTP客户端通过URL向HTTP服务端即WEB服务器发送所有请求。Web服务器根据接收到的请求后,向客户端发送响应信息。HTTP默认端口为80,但是也可以改为8080或者其它端口。一个HTTP客户端是一个应用程序(Web浏览器或其它任何客户端),通过连接到服务器达到向服务器发送一个或多个HTTP的请求的目的。一个HTTP服务器同样也是一个应用程序(通常是一个Web服务,如Apache Web服务器或IIS服务器等),通过接收客户端的请求并向客户端发送HTTP响应数据。HTTP使用统一资源标识符(URI)来传输数据和建立连接。HTTP响应分为Header和Body两部分(Body是可选项)。
网上有一些解析HTTP消息的开源库,如http-parser( https://github.com/nodejs/http-parser),可以解析HTTP请求或响应消息。