后端网络协议基础知识笔记3(持续更新中。。。)

1.简介

1.1概述

HTTP协议，即超文本传输协议（HTTP,HyperText Transfer Protocol），是互联网中应用最广泛的一种网络协议，所有的WWW文件都必须遵守这个标准。
从TCP/IP模型上看，HTTP协议属于应用层。

1.2工作原理

HTTP协议定义Web客户端如何从Web服务器请求Web页面，以及服务器如何把Web页面传送给客户端。HTTP协议采用了请求/响应模型。客户端向服务器发送一个请求报文，请求报文包含请求的方法、URL、协议版本、请求头部和请求数据。服务器以一个状态行作为响应，响应的内容包括协议的版本、成功或者错误代码、服务器信息、响应头部和响应数据。

大佬链接：https://www.cnblogs.com/an-wen/p/11180076.html

例如：在浏览器地址栏键入URL，按下回车之后会经历以下流程：

• 浏览器向 DNS 服务器请求解析该 URL 中的域名所对应的 IP 地址;
• 解析出 IP 地址后，根据该 IP 地址和默认端口 80，和服务器建立TCP连接;
• 浏览器发出读取文件(URL 中域名后面部分对应的文件)的HTTP 请求，该请求报文作为 TCP 三次握手的第三个报文的数据发送给服务器;
• 服务器对浏览器请求作出响应，并把对应的 html 文本发送给浏览器;
• 释放 TCP连接;
• 浏览器将该 html 文本并显示内容;

2.URL与URI的区别

URI：统一资源标识符，只是标识资源存放在哪里，所以又存在一个烦人的问题，可以存在多个URI指向该资源，也就是相对与绝对。
URI包含URL
URI一般由三部分组成“

• 访问资源的命名机制
• 存放资源的主机名
• 资源自身的名称，由路径表示

语法：[scheme:]scheme-specific-part
http://www.cnn.com 其中http是scheme，//www.cnn.com是scheme-specific-part，并且它的scheme和scheme-specific-part是被冒号分开的。
相对与绝对：

• 绝对的URI指以scheme（后面跟着冒号）开头的URI。（如：xyz://whatever）。绝对的URI可以看作是以某种方式引用资源，而这种方式对标识符出现的环境没有依赖。
• 相对的URI不是以scheme（后面跟着冒号）开头的URI。（如：arc/ad.html），相对的URI可以看作是以某种方式引用资源，而这种方式对标识符出现的环境有依赖。

URL：统一资源定位符，是URI的子集，即标识了资源的位置，还提供了一种定位该资源的主要访问机制，即提供了找到该资源的具体方式（位置+方式）。
一个完整的URL包含以下几个部分：
http://www.luffycity.com:80/news/index.html?id=250&page=1#name

• 协议部分：“http:”
• 域名部分：www.luffycity.com，IP地址也可以当作域名来使用
• 端口：”80“，跟在域名后的就是端口，跟域名用“:”隔开，端口可有可无，若是省略则采用默认端口
• 虚拟目录部分：”/news/“。从域名后的第一个”/“开始到最后一个”/“为止，为虚拟目录部分。可有可无，可省略。
• 文件名部分：”index.html“。从域名后的最后一个“/”开始到“？”为止，是文件名部分，如果没有“?”,则是从域名后的最后一个“/”开始到“#”为止，是文件部分，如果没有“？”和“#”，那么从域名后的最后一个“/”开始到结束，都是文件名部分。可有可无，若是省略则采用默认文件名。
• 锚部分：“name”。从“#”开始到最后，都是锚部分。可有可无。
• 参数部分：”id=250&page=1“。从“？”开始到“#”为止之间的部分为参数部分，又称搜索部分、查询部分。参数可以允许有多个参数，参数与参数之间用“&”作为分隔符。

3.HTTP特点

HTTP协议永远都是客户端向服务器发出请求，服务器向客户端发送响应。因此，限制了使用HTTP协议，无法在客户端没有发起请求的时候，服务器发出响应。
主要特点：

• 支持客户/服务器模式。
• 简单快速：客户向服务器请求服务时，只需传送请求方法和路径。请求方法常用的有GET、HEAD、POST。每种方法规定了客户与服务器联系的类型不同。由于HTTP协议简单，使得HTTP服务器的程序规模小，因而通信速度很快。
• 灵活：HTTP允许传输任意类型的数据对象。正在传输的类型由Content-Type加以标记
• HTTP 0.9和1.0使用非持续连接：限制每次连接只处理一个请求，服务器处理完客户的请求，并收到客户的应答后，即断开连接。HTTP 1.1使用持续连接：不必为每个web对象创建一个新的连接，一个连接可以传送多个对象，采用这种方式可以节省传输时间。
• 无状态：HTTP协议是无状态协议。即每一个HTTP请求都是独立的。万维网服务器不保存过去的请求和过去的会话记录。这就是说，同一个用户再次访问同一个服务器时，只要服务器没有进行内容的更新，服务器的响应就给出和以前被访问时相同的响应。服务器不记录曾经访问过的用户，也不记录某个用户访问过多少次。

4.HTTP请求

4.1Request消息的结构

请求消息的结构=请求行+请求头+请求主体（即：请求行，消息报头，请求正文）

• 请求行：请求方法 空格 请求资源地址(URI、无域名) 空格 HTTP版本 空格 CRLF(换行符)
• 请求头：标识:内容 CRLF(换行符)
• 空一行：（表示请求头结束）
• 请求主体：（即请求正文，用户的主要数据。POST方式时使用，GET无请求主体）

4.2请求方法

• GET：向特定的资源发出请求
• POST：向指定资源提交数据进行处理请求（例如提交表单或者上传文件）。数据被包含在请求体中。POST请求可能会导致新的资源的建立和/或已有资源的修改。
• PUT：向指定资源位置上传其最新内容。 DELETE：请求服务器删除Request-URI所标识的资源。
• HEAD： 向服务器索要与GET请求相一致的响应，只不过响应体将不会被返回。这一方法可以在不必传输整个响应内容的情况下，就可以获取包含在响应消息头中的元信息。该方法常用于测试超链接的有效性，是否可以访问，以及最近是否更新。
• TRACE：请求服务器会送收到的请求信息，主要用于测试或诊断。
• OPTIONS：请求查询服务器的性能，或者查询与资源相关的选项和需求
• CONNECT： HTTP/1.1协议中预留给能够将连接改为管道方式的代理服务器。（即留为将来使用）
  【注意：请求方法区分大小写；所示请求方法应为大写】
  GET和POST的区别：
• GET提交的数据会放在URL之后，以？分割URL和传输数据，参数之间以&相连。POST是把提交的数据放在HTTP包的Body中。
• GET提交的数据大小有限制（因为浏览器对URL的长度有限制），而POST方法提交的数据没有限制。
• GET方式需要使用Request.QueryString来取得变量的值，而POST方式通过Request.From来获得变量的值。
• GET方式提交数据，会带来安全问题。比如一个登录页面，通过GET方式提交数据时，用户名和密码将出现在URL上，如果页面可以被缓存或者其他人可以访问这台机器，就可以从历史记录获得该用户的账号和密码。

4.3请求行

请求行以一个方法符号开头，空格之后，一个请求URI，再空格，然后一个HTTP版本，最后一个回车换行。
作用：用来说明当前请求的最基本信息。

4.4请求头

常见的请求头：
　　1、Host：（发送请求时，该头域是必需的）主要用于指定被请求资源的Internet主机和端口号，它通常从HTTP URL中提取出来的。HTTP/1.1请求必须包含主机头域，否则系统会以400状态码返回。
　　例如: 我们在浏览器中输入：http://www.guet.edu.cn/index.html，浏览器发送的请求消息中，就会包含Host请求头域：Host：http://www.guet.edu.cn，此处使用缺省端口号80，若指定了端口号，则变成：Host：指定端口号。
　　2、User-Agent：告诉HTTP服务器，客户端使用的操作系统和浏览器的名称和版本。
　　例如： User-Agent: Mozilla/5.0 (Windows NT 6.3; Win64; x64; rv:53.0) Gecko/20100101 Firefox/53.0
　　3、Content-Type：例如：Content-Type: application/x-www-form-urlencoded
　　4、Accept-Language：浏览器申明自己接收的语言。语言跟字符集的区别：中文是语言，中文有多种字符集，比如big5，gb2312，gbk等等；例如：Accept-Language: en-us。如果请求消息中没有设置这个报头域，服务器假定客户端对各种语言都可以接受。
　　5、Accept：text/html,application/xhtml+xml,application/xml;q=0.9,/;q=0.8
　　6、Accept-Encoding：浏览器申明自己可接收的编码方法，通常指定压缩方法，是否支持压缩，支持什么压缩方法（gzip，deflate）;Servlet能够向支持gzip的浏览器返回经gzip编码的HTML页面。许多情形下这可以减少5到10倍的下载时间。
　　例如： Accept-Encoding: gzip, deflate。如果请求消息中没有设置这个域，服务器假定客户端对各种内容编码都可以接受。
　　7、Cookie：最重要的请求头之一, 将cookie的值发送给HTTP服务器。
　　8、Connection：HTTP 1.1默认进行持久连接keep-alive。
　　例如：Connection: keep-alive 当一个网页打开完成后，客户端和服务器之间用于传输HTTP数据的TCP连接不会关闭，如果客户端再次访问这个服务器上的网页，会继续使用这一条已经建立的连接。
　　利用持久连接的优点，当页面包含多个元素时（例如Applet，图片），显著地减少下载所需要的时间。要实现这一点，Servlet需要在应答中发送一个Content-Length头，最简单的实现方法是：先把内容写入ByteArrayOutputStream，然后在正式写出内容之前计算它的大小。
　　Connection: close 代表一个Request完成后，客户端和服务器之间用于传输HTTP数据的TCP连接会关闭，当客户端再次发送Request，需要重新建立TCP连接。
　　9、Keep-Alive：30保持持久连接30s
　　10、If-Modified-Since：把浏览器端缓存页面的最后修改时间发送到服务器去，服务器会把这个时间与服务器上实际文件的最后修改时间进行对比。如果时间一致，那么返回304，客户端就直接使用本地缓存文件。如果时间不一致，就会返回200和新的文件内容。客户端接到之后，会丢弃旧文件，把新文件缓存起来，并显示在浏览器中。
　　例如：If-Modified-Since: Sat, 06 May 2017 12:05:41 GMT
　　11、If-None-Match：If-None-Match和ETag一起工作，工作原理是在HTTP Response中添加ETag信息。 当用户再次请求该资源时，将在HTTP Request 中加入If-None-Match信息(ETag的值)。如果服务器验证资源的ETag没有改变（该资源没有更新），将返回一个304状态告诉客户端使用本地缓存文件。否则将返回200状态和新的资源和Etag. 使用这样的机制将提高网站的性能。
　　例如: If-None-Match: “03f2b33c0bfcc1:0”。
　　12、Pragma：指定“no-cache”值表示服务器必须返回一个刷新后的文档，即使它是代理服务器而且已经有了页面的本地拷贝；在HTTP/1.1版本中，它和Cache-Control:no-cache作用一模一样。Pargma只有一个用法， 例如： Pragma: no-cache
　　13、Cache-Control：指定请求和响应遵循的缓存机制。缓存指令是单向的（响应中出现的缓存指令在请求中未必会出现），且是独立的（在请求消息或响应消息中设置Cache-Control并不会修改另一个消息处理过程中的缓存处理过程）。请求时的缓存指令包括no-cache、no-store、max-age、max-stale、min-fresh、only-if-cached，响应消息中的指令包括public、private、no-cache、no-store、no-transform、must-revalidate、proxy-revalidate、max-age、s-maxage。
　　注意: 在HTTP/1.0版本中，只实现了Pragema:no-cache, 没有实现Cache-Control
　　Cache-Control:Public 可以被任何缓存所缓存
　　Cache-Control:Private 内容只缓存到私有缓存中
　　Cache-Control:no-cache 所有内容都不会被缓存
　　Cache-Control:no-store 用于防止重要的信息被无意的发布。在请求消息中发送将使得请求和响应消息都不使用缓存。
　　Cache-Control:max-age 指示客户机可以接收生存期不大于指定时间（以秒为单位）的响应。
　　Cache-Control:min-fresh 指示客户机可以接收响应时间小于当前时间加上指定时间的响应。
　　Cache-Control:max-stale 指示客户机可以接收超出超时期间的响应消息。如果指定max-stale消息的值，那么客户机可以接收超出超时期指定值之内的响应消息。
　　14、Accept-Charset：浏览器可接受的字符集。如果在请求消息中没有设置这个域，缺省表示任何字符集都可以接受。
　　15、Referer：包含一个URL，用户从该URL代表的页面出发访问当前请求的页面。提供了Request的上下文信息的服务器，告诉服务器我是从哪个链接过来的，比如从我主页上链接到一个朋友那里，他的服务器就能够从HTTP Referer中统计出每天有多少用户点击我主页上的链接访问他的网站。
　　例如: Referer:http://translate.google.cn/?hl=zh-cn&tab=wT
　　16、Content-Length：表示请求消息正文的长度。例如：Content-Length: 38。
　　17、From：请求发送者的email地址，由一些特殊的Web客户程序使用，浏览器不会用到它。
　　18、Range：可以请求实体的一个或者多个子范围。
　　例如：
　　表示头500个字节：bytes=0-499
　　表示第二个500字节：bytes=500-999
　　表示最后500个字节：bytes=-500
　　表示500字节以后的范围：bytes=500-
　　第一个和最后一个字节：bytes=0-0,-1
　　同时指定几个范围：bytes=500-600,601-999
　　但是服务器可以忽略此请求头，如果无条件GET包含Range请求头，响应会以状态码206（PartialContent）返回而不是以200（OK）。
大佬链接：https://www.cnblogs.com/phpstudy2015-6/p/6810130.html#_label0

4.5请求主体

请求的主要用户数据，就是POST数据
如果方式为POST，则需要请求主体部分；GET没有请求主体。
数据形式：类似name=xxx

5.HTTP响应

5.1Response消息的结构

响应消息由三部分组成：响应行+响应头+相应主体（即：状态行、消息报头、响应正文）

• 响应行：HTTP版本 空格 状态码 空格 状态码的文本描述 空格 CRLF(换行符)
• 响应头：内容 CRLF(换行符)
• 空一行（表示响应头结束）
• 响应主体：所谓响应主体，就是服务器返回的资源的内容。即整个HTML文件。

5.2响应行

响应数据的第一行，响应结果的概述。
状态码：
　　状态代码有3位数字组成，状态描述给出了状态代码简短的描述。状态码第一个数字定义了响应的类别，有五种可能取值：
　　1xx：指示信息–表示请求已接收，继续处理
　　2xx：成功–表示请求已被成功接收、理解、接受
　　3xx：重定向–要完成请求必须进行更进一步的操作
　　4xx：客户端错误–请求有语法错误或请求无法实现
　　5xx：服务器端错误–服务器未能实现合法的请求

100——客户必须继续发出请求
　　101——客户要求服务器根据请求转换HTTP协议版本
　　
　　200——交易成功
　　201——提示知道新文件的URL
　　202——接受和处理、但处理未完成
　　203——返回信息不确定或不完整
　　204——请求收到，但返回信息为空
　　205——服务器完成了请求，用户代理必须复位当前已经浏览过的文件
　　206——服务器已经完成了部分用户的GET请求

　　300——请求的资源可在多处得到
　　301——删除请求数据
　　302——在其他地址发现了请求数据
　　303——建议客户访问其他URL或访问方式
　　304——客户端已经执行了GET，但文件未变化
　　305——请求的资源必须从服务器指定的地址得到
　　306——前一版本HTTP中使用的代码，现行版本中不再使用
　　307——申明请求的资源临时性删除

　　400——错误请求，如语法错误
　　401——请求授权失败
　　402——保留有效ChargeTo头响应
　　403——请求不允许
　　404——没有发现文件、查询或URl
　　405——用户在Request-Line字段定义的方法不允许
　　406——根据用户发送的Accept拖，请求资源不可访问
　　407——类似401，用户必须首先在代理服务器上得到授权
　　408——客户端没有在用户指定的饿时间内完成请求
　　409——对当前资源状态，请求不能完成
　　410——服务器上不再有此资源且无进一步的参考地址
　　411——服务器拒绝用户定义的Content-Length属性请求
　　412——一个或多个请求头字段在当前请求中错误
　　413——请求的资源大于服务器允许的大小
　　414——请求的资源URL长于服务器允许的长度
　　415——请求资源不支持请求项目格式
　　416——请求中包含Range请求头字段，在当前请求资源范围内没有range指示值，请求也不包含If-Range请求头字段
　　417——服务器不满足请求Expect头字段指定的期望值，如果是代理服务器，可能是下一级服务器不能满足请求

　　500——服务器产生内部错误
　　501——服务器不支持请求的函数
　　502——服务器暂时不可用，有时是为了防止发生系统过载
　　503——服务器过载或暂停维修
　　504——关口过载，服务器使用另一个关口或服务来响应用户，等待时间设定值较长
　　505——服务器不支持或拒绝支请求头中指定的HTTP版本

5.3响应头

同请求头
HTTP常见的响应头：
　　1、Date：表示消息发送的时间，时间的描述格式由rfc822定义。例如，Date:Sat, 06 May 2017 12:16:56 GMT。Date描述的时间表示世界标准时，换算成本地时间，需要知道用户所在的时区。你可以用setDateHeader来设置这个头以避免转换时间格式的麻烦　　
　　2、Content-Type：WEB服务器告诉浏览器自己响应的对象的类型和字符集。Servlet默认为text/plain，但通常需要显式地指定为text/html。由于经常要设置Content-Type，因此HttpServletResponse提供了一个专用的方法setContentType。可在web.xml文件中配置扩展名和MIME类型的对应关系。
　　例如:
　　Content-Type: text/html;charset=utf-8
　　Content-Type:text/html;charset=GB2312
　　Content-Type: image/jpeg
　　媒体类型的格式为：大类/小类，比如text/html。
　　IANA(The Internet Assigned Numbers Authority，互联网数字分配机构)定义了8个大类的媒体类型，分别是:
　　application— (比如: application/vnd.ms-excel.)
　　audio (比如: audio/mpeg.)
　　image (比如: image/png.)
　　message (比如,:message/http.)
　　model(比如:model/vrml.)
　　multipart (比如:multipart/form-data.)
　　text(比如:text/html.)
　　video(比如:video/quicktime.)
　　3、Expires：指明应该在什么时候认为文档已经过期，从而不再缓存它，重新从服务器获取，会更新缓存。过期之前使用本地缓存。HTTP1.1的客户端和缓存会将非法的日期格式（包括0）看作已经过期。
　　eg：为了让浏览器不要缓存页面，我们也可以将Expires实体报头域，设置为0。
　　例如: Expires: Tue, 08 Feb 2022 11:35:14 GMT
　　4、P3P：用于跨域设置Cookie, 这样可以解决iframe跨域访问cookie的问题
　　例如: P3P: CP=CURa ADMa DEVa PSAo PSDo OUR BUS UNI PUR INT DEM STA PRE COM NAV OTC NOI DSP COR
　　5、Set-Cookie：非常重要的header, 用于把cookie发送到客户端浏览器，每一个写入cookie都会生成一个Set-Cookie。
　　例如: Set-Cookie: sc=4c31523a; path=/; domain=.acookie.taobao.com
　　6、ETag：和If-None-Match 配合使用。
　　7、Last-Modified：用于指示资源的最后修改日期和时间。Last-Modified也可用setDateHeader方法来设置。
　　8、Content-Range：用于指定整个实体中的一部分的插入位置，他也指示了整个实体的长度。在服务器向客户返回一个部分响应，它必须描述响应覆盖的范围和整个实体长度。一般格式：Content-Range:bytes-unitSPfirst-byte-pos-last-byte-pos/entity-length。
　　例如，传送头500个字节次字段的形式：Content-Range:bytes0-499/1234如果一个http消息包含此节（例如，对范围请求的响 应或对一系列范围的重叠请求），Content-Range表示传送的范围。
　　9、Content-Length：指明实体正文的长度，以字节方式存储的十进制数字来表示。在数据下行的过程中，Content-Length的方式要预先在服务器中缓存所有数据，然后所有数据再一股脑儿地发给客户端。只有当浏览器使用持久HTTP连接时才需要这个数据。如果你想要利用持久连接的优势，可以把输出文档写入ByteArrayOutputStram，完成后查看其大小，然后把该值放入Content-Length头，最后通过byteArrayStream.writeTo(response.getOutputStream()发送内容。
　　例如: Content-Length: 19847
　　10、Content-Encoding：WEB服务器表明自己使用了什么压缩方法（gzip，deflate）压缩响应中的对象。只有在解码之后才可以得到Content-Type头指定的内容类型。利用gzip压缩文档能够显著地减少HTML文档的下载时间。Java的GZIPOutputStream可以很方便地进行gzip压缩，但只有Unix上的Netscape和Windows上的IE 4、IE 5才支持它。因此，Servlet应该通过查看Accept-Encoding头（即request.getHeader(“Accept-Encoding”)）检查浏览器是否支持gzip，为支持gzip的浏览器返回经gzip压缩的HTML页面，为其他浏览器返回普通页面。
　　例如：Content-Encoding：gzip
　　11、Content-Language：WEB服务器告诉浏览器自己响应的对象所用的自然语言。
　　例如： Content-Language:da。没有设置该域则认为实体内容将提供给所有的语言阅读。
　　12、Server：指明HTTP服务器用来处理请求的软件信息。例如：Server: Microsoft-IIS/7.5、Server：Apache-Coyote/1.1。此域能包含多个产品标识和注释，产品标识一般按照重要性排序
　　13、X-AspNet-Version：如果网站是用ASP.NET开发的，这个header用来表示ASP.NET的版本。
　　例如: X-AspNet-Version: 4.0.30319
　　14、X-Powered-By：表示网站是用什么技术开发的。
　　例如： X-Powered-By: ASP.NET
　　15、Connection：keep-alive /close
　　16、Location：用于重定向一个新的位置，包含新的URL地址。表示客户应当到哪里去提取文档。Location通常不是直接设置的，而是通过HttpServletResponse的sendRedirect方法，该方法同时设置状态代码为302。Location响应报头域常用在更换域名的时候。
　　17、Refresh：表示浏览器应该在多少时间之后刷新文档，以秒计。除了刷新当前文档之外，你还可以通过setHeader(“Refresh”, “5; URL=http://host/path”)让浏览器读取指定的页面。注意这种功能通常是通过设置HTML页面HEAD区的实现，这是因为，自动刷新或重定向对于那些不能使用CGI或Servlet的HTML编写者十分重要。但是，对于Servlet来说，直接设置Refresh头更加方便。注意Refresh的意义是“N秒之后刷新本页面或访问指定页面”，而不是“每隔N秒刷新本页面或访问指定页面”。因此，连续刷新要求每次都发送一个Refresh头，而发送204状态代码则可以阻止浏览器继续刷新，不管是使用Refresh头还是<META HTTP-EQUIV=“Refresh” …>。注意Refresh头不属于HTTP 1.1正式规范的一部分，而是一个扩展，但Netscape和IE都支持它。
　　大佬链接：https://www.cnblogs.com/phpstudy2015-6/p/6810130.html#_label12

5.4响应主体

就是服务器返回的资源的内容。即整个HTML文件。

6.HTTP请求详细过程

参考链接：
https://www.cnblogs.com/phpstudy2015-6/p/6810130.html#_label12
https://blog.csdn.net/weixin_44367006/article/details/99768731