图解HTTP-第 1 章 了解 Web 及网络基础

第 1 章 了解 Web 及网络基础

1.1 使用 HTTP 协议访问 Web

我们在网页浏览器(Web browser)的地址栏中输入URL时，Web时如何呈现的？

Web不能凭空产生。根据Web浏览器地址栏中指定的URL,Web浏览器从服务器获取文件资源(resource)等信息，从而显示出Web页面
像这种通过发送请求获取服务器资源的 Web 浏览器等，都可称为客户(client)。
Web 使用一种名为 HTTP（HyperText Transfer Protocol，超文本传输协议 ）的协议作为规范，完成从客户端到服务器端等一系列运作流程。而协议是指规则的约定。可以说，Web 是建立在 HTTP 协议上通信的。

1.2 HTTP 的诞生

HTTP诞生的背景：

1.2.1 为知识共享而规划 Web

HTTP诞生于1989年。由蒂姆 • 伯纳斯 - 李博士提出了一种能让远离两地的研究者们共享知识的设想。
设想的基本理念：把多文档之间的相互关联形成的超文本(HyperText),连成可以相互参阅的WWW(World Wide Web，万维
网)。—>可互相参阅，也就是形成了知识共享。

Standard Generalized Markup language（SGML）（“标准通用标记语言”），是一种定义电子文档结构和描述其内容的国际标准语言；SGML为语法置标提供了异常强大的工具，同时具有极好的扩展性，因此在数据分类和索引中非常有用；是所有电子文档标记语言的起源，早在万维网发明之前“SGML”就已存在。

现在已提出了3 项 WWW 构建技术分别是把 SGML：

1. 作为页面的文本标
   记语言的 HTML（HyperText Markup Language，超文本标记语言）；
2. 作为文档传递协议的 HTTP ；
3. 指定文档所在地址的 URL（Uniform Resource Locator，统一资源定位符）。
   WWW 这一名称，是 Web 浏览器当年用来浏览超文本的客户端应用程序时的名称。现在则用来表示这一系列的集合，也可简称为 Web。

1.2.2 Web 成长时代

1990 年 11 月，CERN 成功研发了世界上第一台 Web 服务器和 Web 浏览器。
1990年，对HTML1.0 草案进行了讨论，因存在多出模糊不清部分被废弃—>1993年浏览器的祖先 NCSA（National Center for Supercomputer Applications，美国国家超级计算机应用中心）研发的Mosaic 问世了，以内联等形式显示了HTML的图像。使用 CGI(CGI:只能响应浏览器发来的HTTP静态资源的请求,并将存储在服务器中的静态资源返回给浏览器) 技术的 NCSA Web 服务器、NCSA HTTPd 1.0 也差不多是在这个时期出现的。—>1994 年 的 12 月，网景通信公司发布了 Netscape Navigator 1.0，1995年微软公司发布 Internet Explorer 1.0 和 2.0。—>紧随其后的是现在已然成为 Web 服务器标准之一的 Apache，当时它以 Apache 0.2 的姿态出现在世人眼前。而 HTML也发布了 2.0 版本。

1.2.3 驻足不前的 HTTP

HTTP/0.9(没有作为正式标准被建立，现在的 HTTP 其实含有 HTTP1.0 之前版本的意思，因此被称为
HTTP/0.9)
HTTP/1.0(于1996 年的 5 月正式作为标准被公布，该协议标准至今仍被广泛使用在服务器端)
HTTP/1.1(1.1是目前主流的 HTTP 协议版本)
HTTP/2.0 （正在制订中）

1.3 网络基础 TCP/IP

为了理解 HTTP，我们有必要事先了解一下 TCP/IP 协议族。
通常使用的网络（包括互联网）是在 TCP/IP 协议族的基础上运作的。而 HTTP 属于它内部的一个子集。

1.3.1 TCP/IP 协议族

什么是协议：
计算机与网络设备要相互通信，双方就必须基于相同的方法。比如，如何探测到通信目标、由哪一边先发起通信、使用哪种语言进行通信、怎样结束通信等规则都需要事先确定。不同的硬件、操作系统之间的通信，所有的这一切都需要一种规则。而我们就把这种规则称为协议（protocol）。

协议中存在各式各样的内容。从电缆的规格到 IP 地址的选定方法、
寻找异地用户的方法、双方建立通信的顺序，以及 Web 页面显示需
要处理的步骤，等等。

像这样把与互联网相关联的协议集合起来总称为 TCP/IP

1.3.2 TCP/IP 的分层管理

TCP/IP 协议族里重要的一点就是分层。
TCP/IP 协议族按层次分别分为以下 4 层：应用层、传输层、网络层和数据链路层。
TCP/IP 层次化好处：
某个地方需要改变设计时，分层之后只需把变动的层替换掉即可。把各层之间的接口部分规划好之后，每个层次内部的设计就能够自由改动了。
而且层次化之后，设计也变得相对简单了。处于应用层上的应用可以只考虑分派给自己的任务，而不需要弄清对方在地球上哪个地方、对方的传输路线是怎样的、是否能确保传输送达等问题。
TCP/IP 协议族各层的作用如下：
应用层：应用层决定了向用户提供应用服务时通信的活动(处理并产生应用数据,将数据发送给传输层进行传输(应用层相当于商家,数据相当于我们购买的商品))。
TCP/IP 协议族内预存了各类通用的应用服务。比如，FTP（File Transfer Protocol，文件传输协议）和 DNS（Domain Name System，域名系统）服务就是其中两类。
HTTP 协议也处于该层,是当前最流行也是最典型的应用层协议.

传输层:传输层对上层应用层，提供处于网络连接中的两台计算机之间的数据传输。
在传输层有两个性质不同的协议：TCP（Transmission Control Protocol，传输控制协议）和 UDP（User Data Protocol，用户数据报协议）。
网络层（又名网络互连层）：
网络层用来处理在网络上流动的数据包。数据包是网络传输的最小数据单位。该层规定了通过怎样的路径（所谓的传输路线）到达对方计算机，并把数据包传送给对方。
与对方计算机之间通过多台计算机或网络设备进行传输时，网络层所起的作用就是在众多的选项内选择一条传输路线。
链路层（又名数据链路层，网络接口层）：
用来处理连接网络的硬件部分。包括控制操作系统、硬件的设备驱动、NIC（Network Interface Card，网络适配器，即网卡），及光纤等物理可见部分（还包括连接器等一切传输媒介）。硬件上的范畴均在链路层的作用范围之内。

1.3.3 TCP/IP 通信传输流

利用 TCP/IP 协议族进行网络通信时，会通过分层顺序与对方进行通信。发送端从应用层往下走，接收端则往应用层往上走。
我们用 HTTP 举例来说明：

• 首先作为发送端的客户端在应用层
  （HTTP 协议）发出一个想看某个 Web 页面的 HTTP 请求。
• 接着，为了传输方便，在传输层（TCP 协议）把从应用层处收到的数据（HTTP 请求报文）进行分割，并在各个报文上打上标记序号及端口号后转发给网络层。
• 在网络层（IP 协议），增加作为通信目的地的 MAC 地址后转发给链路层。这样一来，发往网络的通信请求就准备齐全了。
• 接收端的服务器在链路层接收到数据，按序往上层发送，一直到应用层。当传输到应用层，才能算真正接收到由客户端发送过来的 HTTP请求。
  
  发送端在层与层之间传输数据时，每经过一层时必定会被打上一个该层所属的首部信息。反之，接收端在层与层传输数据时，每经过一层时会把对应的首部消去。
  这种把数据信息包装起来的做法称为封装（encapsulate）。

1.4 与 HTTP 关系密切的协议 : IP、TCP 和 DNS

下面我们分别针对在 TCP/IP 协议族中与 HTTP 密不可分的 3 个协议（IP、TCP 和 DNS）进行说明。

1.4.1 负责传输的 IP 协议

按层次分，IP（Internet Protocol）网际协议位于网络层。
因为几乎所有使用网络的系统都会用到 IP 协议。TCP/IP 协议族中的 IP 指的就
是网际协议，协议名称中占据了一半位置，其重要性可见一斑。可能有人会把“IP”和“IP 地址”搞混，“IP”其实是一种协议的名称。

IP 协议的作用：
把各种数据包传送给对方。而要保证确实传送到对方那里，则需要满足各类条件。其中两个重要的条件是 IP 地址和MAC地址（Media Access Control Address）。

IP地址：
所谓IP地址就是给每个连接在Internet上的主机分配的一个32bit地址。按照TCP/IP协议规定，IP地址用二进制来表示，每个IP地址长32bit，比特换算成字节，就是4个字节。
MAC地址：
网络中每台设备都有一个唯一的网络标识，这个地址叫MAC地址或网卡地址，由网络设备制造商生产时写在硬件内部。MAC地址则是48位的（6个字节），通常表示为12个16进制数，每2个16进制数之间用冒号隔开，如08：00：20：0A：8C：6D就是一个MAC地址。其前3字节表示OUI（Organizationally Unique Identifier），是IEEE的注册管理机构给不同厂家分配的代码，区分不同的厂家。后3字节由厂家自行分配

• IP 地址：指明了节点被分配到的地址
• MAC 地址：是指网卡所属的固定地址
• IP 地址可以和 MAC 地址进行配对。IP 地址可变换，但 MAC地址基本上不会更改。
  使用 ARP 协议凭借 MAC 地址进行通信
  IP 间的通信依赖 MAC 地址。在网络上，通信的双方在同一局域网（LAN）内的情况是很少的，通常是经过多台计算机和网络设备中转才能连接到对方。而在进行中转时，会利用下一站中转设备的 MAC地址来搜索下一个中转目标。这时，会采用 ARP 协议（AddressResolution Protocol）。ARP 是一种用以解析地址的协议，根据通信方的 IP 地址就可以反查出对应的 MAC 地址。
  没有人能够全面掌握互联网中的传输状况
  在到达通信目标前的中转过程中，那些计算机和路由器等网络设备只能获悉很粗略的传输路线。
  这种机制称为路由选择（routing），有点像快递公司的送货过程。想要寄快递的人，只要将自己的货物送到集散中心，就可以知道快递公司是否肯收件发货，该快递公司的集散中心检查货物的送达地址，明确下站该送往哪个区域的集散中心。接着，那个区域的集散中心自会判断是否能送到对方的家中。我们是想通过这个比喻说明，无论哪台计算机、哪台网络设备，它们都无法全面掌握互联网中的细节。
  

网络上的数据包从初始点开始 ，经过一个个中间节点最终到达目标节点 ，数据包是如何从初始节点开始识别一个个中间节点最终找到目标节点的呢? 实际上初始节点是根据目标节点的地址 ，将目标节点的IP地址映射到中间节点的MAC地址，找到第一个中间节点。从第一个中间节点出发，根据目标节点的IP地址映射到第二个中间节点的MAC地址，从而找到第二个中间节点……，以此类推，直到当找到最后一个中间节点后，从最后一个中间节点出发，根据目标节点的地址映射到目的节点的MAC地址，从而将数据包传送给目标主机。所以数据包的传送过程就是：不断地将目标节点的地址映射到一个个中间节点的MAC地址，再从一个个中间节点出发，直到找到最终的目标节点 。
数据包传送的关键是将目标节点的IP地址映射到中间节点的MAC地址。IP地址与MAC地址的映射要通过ARP地址解析协议来完成，它可将网络中的IP地址映射到主机的MAC地址，如交换机可以根据网络中的IP地址来找到本地主机的MAC地址。具体过程是：当交换机接收到来自网上一个数据包时，会根据该数据包的目标IP地址，查看交换机内部是否有跟该IP地址对应的MAC地址 ，如果有上次保留下来的对应的MAC地址，就会将该数据包 转发到对应MAC地址的主机上去。如果在交换机内部没有与目标)地址对应的MAC地址，则交换机会根据ARP协议将目标IP地址按照“表”中的对应关系映射成MAC地址 ，数据包就被转送到对应的MAC地址的主机上

1.4.2 确保可靠性的 TCP 协议

按层次分，TCP 位于传输层，提供可靠的字节流服务
字节流服务（Byte Stream Service）：
将大块数据分割成以报文段（segment）为单位的数据包进行管理。而可靠的传输服务是指，能够把数据准确可靠地传给对方。一言以蔽之，TCP 协议为了更容易传送大数据才把数据分割，而且 TCP 协议能够确认数据最终是否送达到对方。
确保数据能到达目标:
为了准确无误地将数据送达目标处，TCP 协议采用了三次握手（three-way handshaking）策略。

1. 用 TCP 协议把数据包送出去后，TCP不会对传送后的情况置之不理，它一定会向对方确认是否成功送达。握手过程中使用了 TCP 的标志（flag）——SYN（synchronize） 和ACK（acknowledgement）。
2. 发送端首先发送一个带 SYN 标志的数据包给对方。接收端收到后，回传一个带有 SYN/ACK 标志的数据包以示传达确认信息。
3. 最后，发送端再回传一个带 ACK 标志的数据包，代表“握手”结束。

若在握手过程中某个阶段莫名中断，TCP 协议会再次以相同的顺序发送相同的数据包

1.5 负责域名解析的 DNS 服务

DNS（Domain Name System）服务是和 HTTP 协议一样位于应用层的协议。它提供域名到 IP 地址之间的解析服务。
计算机既可以被赋予 IP 地址，也可以被赋予主机名和域名。
用户通常使用主机名或域名来访问对方的计算机，而不是直接通过 IP地址访问。因为与 IP 地址的一组纯数字相比，用字母配合数字的表示形式来指定计算机名更符合人类的记忆习惯。
但要让计算机去理解名称，相对而言就变得困难了。因为计算机更擅长处理一长串数字。
为了解决上述的问题，DNS 服务应运而生。DNS 协议提供通过域名查找 IP 地址，或逆向从 IP 地址反查域名的服务。

1.6 各种协议与 HTTP 协议的关系

学习了和 HTTP 协议密不可分的 TCP/IP 协议族中的各种协议后，我们再通过这张图来了解下 IP 协议、TCP 协议和 DNS 服务在使用HTTP 协议的通信过程中各自发挥了哪些作用。

1.7 URI 和 URL

与 URI（统一资源标识符）相比，我们更熟悉 URL（Uniform Resource Locator，统一资源定位符）。
URL正是使用 Web 浏览器等访问 Web 页面时需要输入的网页地址。比如，下图的 http://hackr.jp/就是 URL。

1.7.1 统一资源标识符

URI 是 Uniform Resource Identifier 的缩写。RFC2396 分别对这 3 个单词进行了如下定义。
Uniform：
规定统一的格式可方便处理多种不同类型的资源，而不用根据上下文环境来识别资源指定的访问方式。另外，加入新增的协议方案（如http: 或 ftp:）也更容易。
Resource：
资源的定义是“可标识的任何东西”。除了文档文件、图像或服务（例如当天的天气预报）等能够区别于其他类型的，全都可作为资源。另外，资源不仅可以是单一的，也可以是多数的集合体。
Identifier：
表示可标识的对象。也称为标识符。
     综上所述，URI 就是由某个协议方案表示的资源的定位标识符。协议方案是指访问资源所使用的协议类型名称。
采用 HTTP 协议时，协议方案就是 http。除此之外，还有 ftp、mailto、telnet、file 等。标准的 URI 协议方案有 30 种左右，由隶属于国际互联网资源管理的非营利社团ICANN（Internet Corporation for Assigned Names and Numbers，互联网名称与数字地址分配机构）的IANA（Internet Assigned Numbers Authority，互联网号码分配局）管理颁布。http://www.iana.org/assignments/uri-schemes

URI 用字符串标识某一互联网资源，而 URL表示资源的地点（互联网上所处的位置）。可见 URL是 URI 的子集。
“RFC3986：统一资源标识符（URI）通用语法”中列举了几种 URI 例
子，如下所示。

ftp://ftp.is.co.za/rfc/rfc1808.txt
http://www.ietf.org/rfc/rfc2396.txt
ldap://[2001:db8::7]/c=GB?objectClass?one
mailto:John.Doe@example.com
news:comp.infosystems.www.servers.unix
tel:+1-816-555-1212
telnet://192.0.2.16:80/
urn:oasis:names:specification:docbook:dtd:xml:4.1.2

本书接下来的章节中会频繁出现 URI 这个术语，在充分理解的基础上，也可用 URL替换 URI。

1.7.2 URI 格式

表示指定的 URI，要使用涵盖全部必要信息的绝对 URI、绝对 URL以及相对 URL。相对 URL，是指从浏览器中基本 URI 处指定的 URL，形如 /image/logo.gif。
让我们先来了解一下绝对 URI 的格式:

使用 http: 或 https: 等协议方案名获取访问资源时要指定协议类型。不区分字母大小写，最后附一个冒号（:）。
也可使用 data: 或 javascript: 这类指定数据或脚本程序的方案名。
登录信息（认证）：
指定用户名和密码作为从服务器端获取资源时必要的登录信息（身份认证）。此项是可选项。
服务器地址：
使用绝对 URI 必须指定待访问的服务器地址。地址可以是类似hackr.jp 这种 DNS 可解析的名称，或是 192.168.1.1 这类 IPv4 地址名，还可以是 [0:0:0:0:0:0:0:1] 这样用方括号括起来的 IPv6 地址名。
服务器端口号：
指定服务器连接的网络端口号。此项也是可选项，若用户省略则自动使用默认端口号。
带层次的文件路径：
指定服务器上的文件路径来定位特指的资源。这与 UNIX 系统的文件目录结构相似。
查询字符串：
针对已指定的文件路径内的资源，可以使用查询字符串传入任意参数。此项可选。
片段标识符：
使用片段标识符通常可标记出已获取资源中的子资源（文档内的某个位置）。但在RFC 中并没有明确规定其使用方法。该项也为可选项。

并不是所有的应用程序都符合 RFC
有一些用来制定 HTTP 协议技术标准的文档，它们被称为RFC（Request for Comments，征求修正意见书）。
通常，应用程序会遵照由 RFC 确定的标准实现。可以说，RFC 是互联网的设计文档，要是不按照 RFC 标准执行，就有可能导致无法通信的状况。比如，有一台 Web 服务器内的应用服务没有遵照RFC 的标准实现，那 Web 浏览器就很可能无法访问这台服务器了。
由于不遵照 RFC 标准实现就无法进行 HTTP 协议通信，所以基本上客户端和服务器端都会以 RFC 为标准来实现 HTTP 协议。但也存在某些应用程序因客户端或服务器端的不同，而未遵照 RFC 标准，反而将自成一套的“标准”扩展的情况。
不按 RFC 标准来实现，当然也不必劳心费力让自己的“标准”符合其他所有的客户端和服务器端。但设想一下，如果这款应用程序的使用者非常多，那会发生什么情况？不难想象，其他的客户端或服务器端必然都不得不去配合它。
实际在互联网上，已经实现了 HTTP 协议的一些服务器端和客户端里就存在上述情况。说不定它们会与本书介绍的 HTTP 协议的实现情况不一样。
本书接下来要介绍的 HTTP 协议内容，除去部分例外，基本上都以RFC 的标准为准。