2021-07-27 Linux高性能服务器编程（学习记录）第一章 TCP/IP协议族

最新推荐文章于 2023-04-24 22:05:24 发布

不爱吃奶昔（zsl0）

最新推荐文章于 2023-04-24 22:05:24 发布

阅读量586

点赞数 1

分类专栏： # TCP/IP 文章标签： linux 网络 tcpip 服务器

本文链接：https://blog.csdn.net/qq_19152901/article/details/119145916

版权

TCP/IP 专栏收录该内容

7 篇文章 0 订阅

订阅专栏

TCP/IP协议族

第一章 TCP/IP协议族
这里决定暂时停止摘抄原文内容

第一章 TCP/IP协议族

1.1 TCP/IP协议族体系以及主要协议

在这里插入图片描述

TCP/IP协议族是一个四层协议系统，自底而上分别是数据链路层、网络层、传输层和应用层。

1.1.1 数据链路层

数据链路层事项了网卡接口的网络驱动程序，以处理数据在物理媒介（比如以太网、令牌环等）上的传输。不同的物理网络具有不同的电气特性，网络驱动程序隐藏了这些细节，为上层协议提供一个统一接口。

数据两路曾两个常用的协议ARP协议（Address Resolve Protocol，地址解析协议）和RARP协议（Reverse Address Resolve Protocol，逆地址解析协议）。它们实现了IP地址和机器物理地址（通常是MAC地址，）之间的相互转换。

1.1.2 网络层

网络层实现数据宝的选路和转发。

网络层最核心的协议是IP协议（Internet Protocol，因特网协议）。

网络层另外一个重要的协议是ICMP协议（Internet Control Message Protocol，因特网控制报文协议）。它是IP协议的重要补充，主要用于检测网络连接。

1.1.3 传输层

在这里插入图片描述

图 1-3 中，垂直的实线箭头表示TCP/IP协议族各层之间的实体通信（数据包确实是沿着这些线路传递），而水平的虚线箭头表示逻辑通信线路。该图中还附带描述了不同物理网络的连接方法。可见，数据链路层（驱动程序）封装了物理网络的电气细节；网络层封装了网络连接的细节；传输层则为应用程序封装了一条端到端的逻辑通信链路，它负责数据的收发、链路的超时重连等。

传输层协议主要有三个：TCP协议、UDP协议和SCTP协议。

TCP协议（Transmission Control Protocol，传输控制协议）为应用层提供可靠的、面向来凝结的和基于流（stream）的服务。TCP协议使用超时重传、数据确认等方式来确保数据包被正确地发送至目的端，因此TCP是可靠的。

UDP协议（User Datagram Protocol，用户数据报协议）则于TCP协议完全相反，它为应用层提供不可靠、无连接和基于数据报的服务。

SCTP（Stream Control Transmission Protocol，流控制传输协议）是一种相对较新的传输层协议，它是为了因特网上传输电话信号而设计的。

1.1.4 应用层

应用层服务负责处理应用程序的逻辑。

应用层协议很多，图 1-1 仅举例了其中几个:

ping是应用程序，而不是协议，前面说过它利用ICMP报文检测网络连接，是调试网络环境的必备工具。

telnet协议是一种远程登陆协议，它使我们能在本地完成远程任务，此书后续章节将会多次使用telnet客户端登陆到其它服务上。

OSPF（Open Shortest Path First，开放最短路径优先）协议是一种动态路由更新协议，用于路由器之间的通信，以告知对方各自的路由信息。

DNS（Domain Name Service，域名服务）协议提供机器域名到IP地址的转换，将在后面简要介绍DNS协议。

应用层协议（或程序）可能跳过传输层直接使用网络层提供的服务，比如ping程序和OSPF协议。应用层协议（或程序）同城既可以使用TCP服务，又可以使用UDP服务，比如DNS协议。我们可以通过/etc/services文件查看所有知名的应用层协议，以及它们都能使用哪些协议服务。

1.2 封装

上层协议是如何使用下层协议提供的服务的呢？其实这是通过封装（encapsulation）实现的。应用程序数据在发送到物理网络上之前，将沿着协议栈从上往下依次传递。每层协议都将在上层数据的基础上加上自己的头部信息（有时还包括尾部信息），以实现该层的功能，这个过程就称为封装，如图 1-4 所示。

在这里插入图片描述

经过TCP封装后的数据称为TCP报文段（TCP message segment），或者简称TCP段。前文提到，TCP协议为通讯双方维持一个连接，并且在内核中存储相关数据。这部分数据中的TCP头部信息和TCP内核缓冲区（发送缓冲区或接收缓冲区）数据一起构成了TCP报文段，如图 1-5 中的虚线框所示。

在这里插入图片描述

当发送端应用程序使用send（或write）函数像一个TCP连接写入数据时，内核中的TCP模块首先吧这些数据复制到与该连接对应的TCP内核发送缓冲区中，然后TCP模块调用IP模块提供的服务，传递的参数包括TCP头部信息和TCP发送缓冲区中的数据，即TCP报文段。

经过UDP封装后的数据称为UDP数据报（UDP datagram）。UDP对应应用程序数据的封装与TCP类似。不同的是，UDP无须为应用层数据保存副本，因为它提供的服务是不可靠的。当一个UDP数据报被发送成功之后，UDP内核缓冲区中的该数据报就被丢弃了。如果应用程序检测到该数据报未能被接收端正确接收，并打算重发这个数据报，则应用程序需要重新从用户空间将该数据报拷贝到UDP内核发送缓冲区中。

经过IP封装后的数据称为IP数据报（IP datagram）。IP数据报也包括头部信息和数据部分，其中数据部分就是一个TCP报文段、UDP数据报或者ICMP报文。

经过数据链路层封装的数据称为帧（frame）。传输介质不同，帧的类型也不同。比如，以太网上传输的是以太网帧（ethernet frame），而令牌环网络上传输的则是令牌环帧（token ring frame）。以以太网帧为例，其封装格式如图 1-6 所示。

以太网使用6字节的目的物理地址和6字节的源物理地址来表示通信的双方。关于类型（type）字段，将在后面讨论。4字节CRC字段对帧的其他部分提供循环冗余校验。

帧的最大传输单元（Max Transmit Unit，MTU），即帧最多能携带多少上层协议数据（比如IP数据报），通常受到网络类型的限制。图 1-6 所示的以太网帧的MTU是1500字节。正因为如此，过长的IP数据报可能需要被分片（fragment）传输。

在这里插入图片描述

帧才是最终在物理网络上传送的字节序列。至此，封装过程完成。

1.3 分用

当帧到达目的主机时，将沿着协议栈自底向上一次传递。各层协议依次处理帧中本层负责的头部数据，以获取所需的信息，并最终将处理后的帧交给目标应用程序。这个过程称为分用（demultipxing）。分用是依靠头部信息中的类型字段实现的。标准文档RFC 1700定义了所有标识上层协议的类型字段以及每个上层协议对应的数值。图 1-7 显示了以太帧的分用过程。

在这里插入图片描述

因为IP协议、ARP协议和RARP协议都是用帧传输数据，所以帧的头部需要提供某个字段（具体情况取决于帧的类型）来区分他们。以以太网帧为例，它使用2字节的类型字段来标识上层协议（见图 1-6）。如果主机接收到的以太网帧类型字段的值为0x800，则帧的数据部分为IP数据报（见图 1-4），以太网驱动程序将帧交付给IP模块；若类型字段的值为0x806，则帧的数据部分为ARP请求或应答报文，以太网驱动程序就将帧交付给ARP模块；若类型字段的值为0x835，则帧的数据部分为RARP请求或应答报文，以太网驱动程序就将帧交付给RARP模块。

同样，因为ICMP协议、TCP协议和UDP协议都是用IP协议，所以IP数据报的头部采用16位的协议（protocol）字段来区分它们。

TCP报文段和UDP数据报则通过其头部中的16位的端口号（port number）字段来区分上层应用程序。比如DNS协议对应的端口号是53，HTTP协议（Hyper-Text Transfer Protocol，超文本传送协议）对应的端口号是80。所有知名应用层协议使用的端口号都可在/etc/services 文件中找到。

帧通过上述分用步骤后，最终将封装前的原始数据送至目标服务（图 1-7 中的ARP服务、RARP服务、ICMP服务或者应用程序）。这样，在顶层目标服务来看，封装和分用似乎没有发生过。

1.4 测试网络

为了升入理解网络通信和网络编程，我们准备了图 1-8 所示的网络测试网络，其中包括两台主机A和B，以及一个连接到因特网的路由器。后文如没有特别声明，所有测试硬件指的都是该网络。我们将使用机器名来辨识测试机器。

该测试网络主要用于分析ARP协议、IP协议、ICMP协议、TCP协议和DNS协议。我们通过抓取网络上的以太网帧，查看其中的以太网帧头部、IP数据报头部、TCP报文段头部信息，以获取网络通信的细节。这样，以理论结合实践，我们就清楚TCP/IP通信具体是如何进行的了。作者（游双- 此书作者）编写的多个客户端、服务器程序都是使用该网络来调试和测试的。

在这里插入图片描述

对于路由器，我们仅列出了其LAN网络IP地址（192.168.1.1），而忽略了ISP（Internet Service Provider，因特网服务提供商）给它分配的WAN网络IP地址，因为全书的讨论都不涉及它。

1.5 ARP协议工作原理

ARP协议能实现任何网络层地址到任何物理地址的转换，不过本书仅讨论从IP地址到以太网地址（MAC地址）的转换。其工作原理是：主机向自己所在的网络广播一个ARP请求，该请求包含目标机器的网络地址。此网络上的其他机器都将收到这个请求，但只有被请求的目标机器会回应一个ARP应答，其中包含自己的物理地址。

1.5.1 以太网ARP请求/应答报文详解

以太网ARP请求/应答报文的格式如图 1-9 所示。

在这里插入图片描述

图 1-9 所示以太网ARP请求/应答报文各字段具体介绍如下。

硬件类型字段定义物理地址的类型，它的值为1表示MAC地址。
协议类型字段表示要映射的协议地址类型，它的值为0x800，表示IP地址（0x806 ARP帧、0x835 RARP帧）。
硬件地址长度字段和协议地址长度字段，顾名思义，其单位是字节。对MAC地址来说，其长度为6；对IP（v4）地址来说，其长度为4。
操作字段指出4中操作类型：ARP请求（值为1）、ARP应答（值为2）、RARP请求（值为3）和RARP应答（值为4）。
最后4个字段指定通信双发的以太网地址和IP地址。发送端填充除目的段以太网地址外的其他3个字段，以构建ARP请求并发送之。接收端发现该请求的目的端IP地址是自己，就把自己的以太网地址填进去，然后交换两个目的端地址和两个发送端地址，以构建ARP应答并返回之（当然，如前所述，操作字段需要设置为2）。

由图 1-9 可知，ARP请求/应答报文的长度为28字节。如果再加上以太网帧头部和尾部的18字节（见 1-6），则一个携带ARP请求/应答报文的以太网帧长度为46字节。不过有的实现要求以太网帧数据部分长度至少为46字节（见图 1-4），此时ARP请求/应答报文将增加一些填充字节，以满足这个要求。在这种情况下，一个携带ARP请求/应答报文的以太网帧长度为64字节。

1.5.2 ARP高速缓冲的查看和修改

通常，ARP维护一个高速缓冲，其中包含经常访问（比如网关地址）或最近访问的机器的IP地址到物理地址的映射。这样就避免了重复的ARP请求，提高了发送数据包的速度。

Linux下可以使用arp命令来查看和修改ARP高速缓存。比如，ernest-laptop在某一时刻（注意，ARP高速缓存是动态变化的）的ARP缓存内容如下（使用arp-a命令）：

```shell Kongming20 (192.168.1.109) at 08:00:27:53:10:67 [ether] on eth0 ?(192.168.1.1) at 14:e6:e4:93:5b:78 [ether] on eth0 ```

其中，第一项描述的是另一台测试机器Kongming20（注意，其IP地址、MAC地址都与图 1-8 描述的一致），第二项描述的是路由器。下面两条命令分别删除和添加一个ARP缓存项：

```shell $ sudo arp -d 192.168.1.109 #删除Kongming20对应的ARP缓存项 $ sudo arp -s 192.168.1.109 08:00:27:53:10:67 #删除Kongming20对应的ARP缓存项 ```

1.5.3 使用tcpdump观察ARP通信过程

为了清楚地了解ARP的运作过程，我们从 ernest-laptop上执行telnet命令登录Kongming20的echo服务（已经开启），并用tcpdump（详见第17章）抓取这个过程中两台测试机器之间交换的以太网帧。具体的操作过程如下：

```shell $ sudo arp -d 192.168.1.109 #清除Kongming20对应的ARP缓存项 $ sudo tcpdump -i eth0 -ent '(dst 192.168.1.109 and src 192.168.1.108)or (dst 192.168.1.108 and src 192.168.1.109)' #如无特殊声明，抓包都在机器ernest-laptop上执行 $ telnet 192.168.1.109 echo #开启另一个终端执行telnet命令 Trying 192.168.1.109... Connected to 192.168.1.109. Escape character is '^]'. ^] (回车) #输入Ctrl+]并回车 telnet>quit(回车) Connection closed. ```

在执行telnet命令之前，应先清除ARP缓存中与Kongming20对应的项，否则ARP通信不被执行，我们也就无法抓取到期望的以太网帧。当执行telnet命令并在两台通信主机之间建立TCP连接后（telnet输出“Connected to 192.168.1.109”），输入Ctrl+]以调出telnet程序的命令提示符，然后再telnet命令提示符后输入quit，退出telnet客户端程序（因为ARP通信在TCP连接建立之前就已经完成，故我们不关心后续内容）。tcpdump抓取到的众多数据包中，只有最靠前的两个和ARP通信有关心，现在将它们列出（数据包前面的编号是作者加入的，后同）：

在这里插入图片描述

由tcpdump抓取的数据包本质上是以太网帧，我们通过该命令的众多选项来控制帧的过滤（比如用dst和src指定通信的目的端IP地址和源端IP地址）和显示（比如用-e选项开启以太网帧头部信息的显示）。

第一个数据包中，ARP通信的源端的物理地址是00:16:d3:5c:b9:e3（ernest-laptop），目的端的物理地址是ff:ff:ff:ff:ff:ff，这是以太网的广播地址，用以表示整个LAN。该LAN上的所有机器都会收到并处理这样的帧。数值0x806是以太网帧头部的类型字段的值，它表示分用的目标是ARP模块。该以太网帧的长度为42字节（实际上是46字节，tcpdump未统计以太网帧尾部4字节的CRC字段），其中数据部分长度为28字节。“Request”表示这是一个ARP请求，“who-has 192.168.1.109 tell 192.168.1.108”则表示ernest-laptop要查询Kongming20的IP地址。

第二个数据包中，ARP通信的源端的物理地址是08:00:27:53:10:67（Kongming20），目的端的物理地址是00:16:d3:5c:b9:e3（ernest-laptop）。“Reply”表示这是一个ARP应答，“192.168.1.109 is-at 08:00:27:53:10:67”则表示目标机器Kongming20报告其物理地址。该以太网帧的长度为60字节（实际上是64字节），可见它使用了填充字节来满足最小帧长度。

为了便于理解，我们将上述讨论用图 1-10 来详细说明。

在这里插入图片描述

关于该图，需要说明三点：

第一，我们将两次传输的以太网帧按照图 1-6 所描述的以太网帧封装格式绘制在图的下半部分。

第二，ARP请求和应答是从以太网驱动程序发出的，而并非像图中描述的那样从ARP模块直接发送到以太网上，所以我们将它们用虚线表示，这主要是为了体现携带ARP数据的以太网帧和其他以太网帧（比如携带IP数据报的以太网帧）的区别。

第三，路由器也将接收到以太网帧1，因为该帧是一个广播帧。不过很显然，路由器并没有回应其中的ARP请求，正如前文讨论的那样。

1.6 DNS工作原理

我们通常使用机器的域名来访问这台机器，而不直接使用其IP地址，比如访问因特网上的各种网站。那么如何将机器的域名转换成IP地址呢？这就需要使用域名查询服务。域名查询服务有很多种实现方式，比如NIS（Network Information Service，网络信息服务）、DNS和本地静态文件等。本节主要讨论DNS。

1.6.1 DNS查询和应答报文详解

DNS是一套分布式的域名服务系统。每个DNS服务器上都存放着大量的机器名和IP地址的映射，并且是动态更新的。众多网络客户端程序都是用DNS协议来向DNS协议来向DNS服务器查询目标主机的IP地址。DNS查询和应答报文的格式如图 1-11 所示。

在这里插入图片描述

<16位标识字段用于标记一对DNS查询和应答，以此区分一个DNS应答是哪个DNS查询的回应/p>

16位标志字段用于协商具体的通信方式和反馈通信状态。DNS报文头部的16位标志字段的细节如图 1-12 所示。

在这里插入图片描述

图 1-12 中各标志的含义分别是：

QR，查询/应答标志。0表示这是一个查询报文，1表示这是一个应答报文。
opcode，定义查询和应答的类型。0表示标准查询，1表示反向查询（由IP地址获得主机域名），2表示请求服务器状态。
AA，授权应答标志，仅由应答报文使用。1表示域名服务器的授权服务器。
TC，截断标志，仅当DNS报文使用UDP服务时使用。因为UDP数据报有长度限制，所以过长的DNS报文将被截断。1表示DNS报文超过512字节，并被截断。
RD，递归查询标志。1表示执行递归查询，即如果目标DNS服务器无法解析某个主机名，则它将向其他DNS服务器继续查询，如此递归，直到获得结果并把该结果返回给客户端。0表示执行迭代查询，即如果目标DNS服务器无法解析某个主机名，则它将自己知道的其他DNS服务器的IP地址返回给客户端，以供客户端参考。
RA，允许递归标志。仅由应答报文使用，1表示DNS服务器支持递归查询。
zero，这3位未用，必须都设置为0、
rcode，4位返回码，表示应答的状态。常用值有0（无错误）和3（域名不存在）。

接下里的4个字段则分别指出DNS报文的最后四个字段的资源记录数目。对查询报文而言，它一般包含1个查询问题，而应答资源记录数、授权资源记录数和额外资源记录数则为0或非0

查询问题的格式如图 1-13 所示。

在这里插入图片描述

图 1-13 中，查询名以一定的格式封装了要查询的主机域名。16位查询类型表示如何执行查询操作，长江的类型有如下几种：

类型A，值是1，表示获取目标主机的IP地址。
类型CNAME，值是5，表示获得目标主机的别名。
类型PTR，值是12，表示反向查询。

16位查询类通常为1，表示获取因特网地址（IP地址）。

应答字段、授权字段和额外信息字段都使用资源记录（Resource Record，RR）格式。资源记录格式如图 1-14 所示。

在这里插入图片描述

图 1-14 中，32位域名是该记录中与资源对应的名字，其格式和查询问题中的查询名字段相同。16位类型和16位类字段的含义也与DNS查询问题的对应字段相同。

32位生存时间表示该查询记录结果可被本地客户端程序缓存多长时间，单位是秒。

16位资源数据长度字段和资源数据字段的内容取决于类型字段。对类型A而言，资源数据是32位的IPv4地址，而资源数据长度则为4（以字节为单位）。

至此，我们简要地介绍了DNS协议。我们将在后面给出一个DNS通信的具体例子。DNS协议的更多细节请参考其RFC文档（DNS协议存在诸多RFC文档，每个RFC文档介绍其一个侧面，比如RFC1035介绍的是域名的实现和规范，RFC1886则描述DNS协议对IPv6的扩展支持）。

1.6.1 Linux下访问DNS服务

我们要访问DNS服务，就必须先知道DNS服务器的IP地址。Linux使用/etc/resolv.conf文件来存放DNS服务器的IP地址。机器ernest-laptop上，该文件内容如下：

```shell # Geberated by Betwork Manager nameserver 219.239.26.42 nameserver 124.207.160.106 ```

其中两个IP地址分别是首选DNS服务器地址和备选DNS服务器地址。文件中的注释“Generated by NetWord Manager”告诉我们，这两个DNS服务器地址是由网络管理程序写入的。

Linux下一个常用的访问DNS服务器的客户端程序是host，比如下面的命令是向首选DNS服务器219.239.26.42查询机器www.baidu.con的IP地址：

```shell $ host -t A www.baidu.com www.baidu.com is an alias for ww.a.shifen.com. www.a.shifen.com has address 119.75.217.56 www.a.shifen.com has address 119.75.218.77 ```

host命令的输出告诉我们，机器名www.baidu.com是www.a.shifen.com.的别名，并且该机器名对应两个IP地址。host命令使用DNS协议和DNS服务器通信，其-t选项告诉DNS协议使用那种查询类型。我们这里使用的是A类型，即通过机器的域名获得其IP地址（但实际上返回的资源记录还包含机器的别名）。关于host命令的详细使用方法，请参考其man手册。

1.6.3 使用tcpdump观察DNS通信过程

为了看清楚DNS通信的过程，下面我们将曾ernest-latop上运行host命令以查询主机www.baidu.com对应的IP地址，并使用tcpdump 抓取这一过程中LAN上传输的以太网帧。具体的操作过程如下：

```shell $ sudo tcpdump -i eth0 -nt -s 500 port domain $ host -t A www.baidu.com ```

这一次执行tcpdump抓包时，我们使用“port domain”来过滤数据包，表示只抓取使用domain（域名）服务的数据包，即DNS查询和应答报文。tcpdump的输出如下：

```shell 1. IP 192.168.1.108.34319 > 219.239.26.42.53: 57428+ A? www.baidu.com. (31) 2. IP 219.239.26.42.53 > 192.168.1.108.34319: 57428 3/4/4 CNAME www.a.shifen.com., A 119.75.218.77, A 119.75.247.56 (226) ```

这两个数据包开始的“IP”指出，它们后面的内容描述的是IP数据报。tcpdump以“IP地址.端口号”的形式来描述通信的某一端：以“>”表示数据传输的方向，“>”前面是源端，后面是目的端。可见，第一个数据包是测试机器ernest-laptop（IP地址是192.168.1.108）向其首选DNS服务器（IP地址是219.239.26.42）发送的DNS查询报文（目标端口53是DNS服务使用的端口，这一点我们在前面介绍过），第二个数据包是服务器反馈的DNS应答报文。

第一个数据包中，数值57428是DNS查询报文的标识值，因此该值也出现在DNS应答报文中。“+”标识启用递归查询标志。“A?”表示使用A类型的查询方式。“www.baidu.com”则是DNS查询问题中的查询名。括号中的数值31是DNS查询报文的长度（以字节为单位）。

第二个数据包中，“3/4/4”表示该报文中包含三个应答资源记录、4个授权资源记录个4个额外信息记录、“CNAME www.a.shifen.com.，A 119.75.218.77，A 119.75.217.56”则表示3个应答资源记录的内容。其中CNAME表示紧随其后的记录是机器的别名，A表示几岁气候的记录是IP地址。该应答报文的长度为226字节。

注意我们抓包的时候没有开启tcpdump的-X选项（或者-x选项）。如果使用-X选项，我们将能看到DNS报文的每一个字节，也就明白上面31字节的查询报文和226字节的应答报文的具体含义。限于篇幅，这里不在讨论，不妨自己分析。

1.7 socket和TCP/IP协议族的关系

前文提到，数据链路层、网络层、传输层协议是在内核中实现的。因此操作系统需要实现一组系统调用，使得应用程序能够访问这些协议提供的服务。实现这组系统调用的API（Application Programming Interface，应用程序网络编程接口）主要有两套：socket和XTI。XTI现在基本不再使用，本书仅讨论socket。图 1-1 显示了socket与TCP/IP协议族的关系。

由socket定义的这一组API提供如下两点功能：一是将应用程序数据从用户缓冲区中复制到TCP/UDP内核发送缓冲区，以交付内核来发送数据（比如图 1-5 所示的send函数），或者是从内核TCP/UDP接受缓冲区中复制到用户缓冲区，以读取数据；二是应用程序可以通过它们来修改内核中各层协议的某些头部信息或者其他数据结构，从而精细地控制底层通信的行为。比如可以通过setsockopt函数来设置IP数据报在网络上的存活时间。我们将在第5章详细讨论这一组API。

值得一提的是，socket是一套通用网络编程接口，它不但可以访问内核中TCP/IP协议栈，而且可以访问其他网络协议栈（比如X.25协议栈、UNIX本地域协议栈等）。