目录
1.传输层
在学习HTTP等应用层协议时,为了便于理解,可以简单的认为HTTP协议是将请求和响应直接发送到了网络当中。但实际应用层需要先将数据交给传输层,由传输层对数据做进一步处理后再将数据继续向下进行交付,该过程贯穿整个网络协议栈,最终才能将数据发送到网络当中。
传输层负责可靠性传输,确保数据能够可靠地传送到目标地址。为了方便理解,在学习传输层协议时也可以简单的认为传输层协议是将数据直接发送到了网络当中。
1.1.再谈端口号
端口号的作用:
端口号(Port)标识一个主机上进行网络通信的不同的应用程序。当主机从网络中获取到数据后,需要自底向上进行数据的交付,而这个数据最终应该交给上层的哪个应用处理程序,就是由该数据当中的目的端口号来决定的。
从网络中获取的数据在进行向上交付时,在传输层就会提取出该数据对应的目的端口号,进而确定该数据应该交付给当前主机上的哪一个服务进程。
因此端口号是属于传输层的概念的,在传输层协议的报头当中就会包含与端口相关的字段。
五元组标识一个通信:
在TCP/IP协议中,用“源IP地址”,“源端口号”,“目的IP地址”,“目的端口号”,“协议号”这样一个五元组来标识一个通信。
比如有多台客户端主机同时访问服务器,这些客户端主机上可能有一个客户端进程,也可能有多个客户端进程,它们都在访问同一台服务器。
而这台服务器就是通过“源IP地址”,“源端口号”,“目的IP地址”,“目的端口号”,“协议号”来识别一个通信的。
• 先提取出数据当中的目的IP地址和目的端口号,确定该数据是发送给当前服务进程的。
• 然后提取出数据当中的协议号,为该数据提供对应类型的服务。
• 最后提取出数据当中的源IP地址和源端口号,将其作为响应数据的目的IP地址和目的端口号,将响应结果发送给对应的客户端进程。通过 netstat -nltp 命令可以查看到这样的五元组信息,如下图所示,其中的Local Address表示的就是源IP地址和源端口号,Foreign Address表示的就是目的IP地址和目的端口号,而Proto表示的就是协议类型。
协议号 VS 端口号:
• 协议号是存在于IP报头当中的,其长度是8位。协议号指明了数据报所携带的数据是使用的何种协议,以便让目的主机的IP层知道应该将该数据交付给传输层的哪个协议进行处理。
• 端口号是存在于UDP和TCP报头当中的,其长度是16位。端口号的作用是唯一标识一台主机上的某个进程。
• 协议号是作用于传输层和网络层之间的,而端口号是作用于应用层于传输层之间的。
1.2.端口号范围划分
端口号的长度是16位,因此端口号的范围是0 ~ 65535:
• 0 ~ 1023:知名端口号。比如HTTP,FTP,SSH等这些广为使用的应用层协议,它们的端口号都是固定的。
• 1024 ~ 65535:操作系统动态分配的端口号。客户端程序的端口号就是由操作系统从这个范围分配的。
1.3.认识知名端口号
常见的知名端口号:
有些服务器是非常常用的,这些服务器的端口号一般都是固定的:
• ssh,服务器使用22端口。
• ftp,服务器使用21端口。
• telnet,服务器使用23端口。
• http,服务器使用80端口。
• https,服务器使用443端口。
查看知名端口号:
在/etc/services路径下有一个services配置文件,该文件中列举了常见服务与其匹配的端口号,如下图所示。
文件中的每一行对应一种服务,它由4个字段组成,每个字段之间用TAB或空格分隔,分别表示“服务名称”、“使用端口”、“协议名称”以及“别名”。
1.4.两个问题
问题1:一个端口号是否可以被多个进程绑定?
答:一个端口号绝对不能被多个进程绑定,因为端口号的作用就是唯一标识一个进程,如果绑定一个已经被绑定的端口号,就会出现绑定失败的问题。问题2:一个进程是否可以绑定多个端口号?
答:一个进程是可以绑定多个端口号的,这与“端口号必须唯一标识一个进程”是不冲突的,只不过现在这多个端口唯一标识的是同一个进程罢了。我们限制的是从端口号到进程的唯一性,而没有要求从进程到端口号也必须满足唯一性,因此一个进程是可以绑定多个端口号的。
1.5.netstat命令
netstat命令:
功能:netstat是一个用来查看网络状态的重要工具。
常见选项:
• n:拒绝显示别名,能显示数字的全部转换成数字。
• l:仅列出处于LISTEN(监听)状态的服务。
• p:显示建立相关链接的程序名。
• t(tcp):仅显示tcp相关的选项。
• u(udp):仅显示udp相关的选项。
• a(all):显示所有的选项,默认不显示LISTEN相关。
注:1.查看TCP相关的网络信息时,一般选择使用nltp组合选项。
2.而查看UDP相关的网络信息时,一般选择使用nlup组合选项。
3.如果想查看LISTEN状态以外的连接信息,可以去掉l选项,此时就会将处于其他状态的连接信息显示出来。
1.6.pidof命令
pidof命令可以通过进程名,查看进程id。
注:pidof命令可以配合kill命令快速杀死一个进程。
2.UDP协议
2.1.UDP协议格式
UDP协议的位置:
网络套接字编程时用到的各种接口,是位于应用层和传输层之间的一层系统调用接口,这些接口是系统提供的,我们可以通过这些接口搭建上层应用,比如HTTP。我们经常说HTTP是基于TCP的,实际就是因为HTTP在TCP套接字编程上搭建的。
而socket接口往下的传输层实际就是由操作系统管理的,因此UDP是属于内核当中的,是操作系统本身协议栈自带的,其代码不是由上层用户编写的,UDP的所有功能都是由操作系统完成,因此网络也是操作系统的一部分。
UDP协议格式:
UDP报文前8个字节是UDP报头,后面的数据是UDP有效载荷。
• 16位源端口号:表示数据从哪里来。
• 16位目的端口号:表示数据要到哪里去。
• 16位UDP长度:表示整个数据报文(UDP首部/报头+UDP数据/有效载荷)的长度。
• 16位UDP检验和:如果UDP报文的检验和出错,就会直接将报文丢弃。
注:我们在应用层看到的端口号大部分都是16位的,其根本原因就是因为传输层协议当中的端口号就是16位的。
问题1:UDP如何将报头与有效载荷进行分离(如何封装和解包)?
答:UDP的报头当中只包含四个字段,每个字段的长度都是16位,总共8字节。因此UDP采用的实际上是一种定长报头,UDP在读取报文时读取完前8个字节后剩下的就都是有效载荷了。
问题2:UDP如何决定应该将有效载荷交付给上层的谁(如何分用)?
答:UDP上层也有很多应用层协议,因此UDP必须想办法将有效载荷交给对应的上层协议,也就是交给应用层对应的进程。
应用层的每一个网络进程都会绑定一个端口号,服务端进程必须显示绑定一个端口号,客户端进程则是由系统动态绑定的一个端口号。UDP就是通过报头当中的目的端口号来找到对应的应用层进程的。
注:内核中用哈希的方式维护了端口号与进程ID之间的映射关系,因此传输层可以通过端口号得到对应的进程ID,进而找到对应的应用层进程。
理解报头:
操作系统是C语言写的,而UDP协议又是属于内核协议栈的,因此UDP协议也一定是用C语言编写的,UDP报头实际就是一个位段类型,如下图一所示,而添加报头(封装)的本质,其实就是将报头对象拷贝到有效载荷数据前面的过程,如下图二所示。
UDP数据封装:
• 当应用层将数据交给传输层后,在传输层就会创建一个UDP报头位段结构体类型的变量,然后填充报头当中的各个字段,此时就得到了一个UDP报头。
• 此时操作系统再在内核当中开辟一块空间,将UDP报头和有效载荷拷贝到一起,此时就形成了UDP报文。
UDP数据分用:• 当传输层从下层获取到一个报文后,就会读取该报文的钱8个字节,提取出对应的目的端口号。
• 通过目的端口号找到对应的上层应用层进程,然后将剩下的有效载荷向上交付给该应用层进程。
2.2.UDP协议的特点
UDP传输的过程就类似于寄信,其特点如下:
• 无连接:知道对端的IP和端口号就直接进行数据传输,不需要建立连接。
• 不可靠:没有确认机制,没有重传机制;如果因为网络故障该段无法发到对方,UDP协议层也不会给应用层返回任何错误信息。不可靠也意味着不需要为了可靠性做一系列工作,意味着UDP很简单,易维护。
• 面向数据报:不能够灵活的控制读写数据的次数和数量(具体后面介绍)。
2.3.面向数据报
应用层交给UDP多长的报文,UDP就原样发送,既不会拆分,也不会合并,这就叫做面向数据报。
比如用UDP传输100个字节的数据:如果发送端调用一次sendto,发送100字节,那么接收端也必须调用对应的一次recvfrom,接收100个字节;而不能循环调用10次recvfrom,每次接收10个字节。
注:对于UDP,报文和报文之间是有明显边界的,发送端发送了几次,接收端就要接收几次。对于TCP,发送端发送次数和接收次数可能不同,发送端发送了五次,接收端可能一次就读完了,发送端发送十次,接收端可能一百次才能读完。
2.4.UDP的缓冲区
• UDP没有真正意义上的发送缓冲区。调用sendto会直接交给内核,由内核将数据传给网络层协议进行后续的传输动作。
• UDP具有接收缓冲区。但是这个接收缓冲区不能保证收到的UDP报的顺序和发送UDP报的顺序一致;如果缓冲区满了,再到达的UDP数据就会被丢弃。
• UDP的socket既能读,也能写,因此UDP是全双工的。注:
1.真正调用write、send等接口发送数据时,并没有把数据发送到网络中,而是把数据交给了操作系统(我们并不知道网络情况,只有操作系统了解),操作系统帮助我们将数据发送出去。
所以我们之前讲的所有网络或文件相关接口,实际上不能叫做类似发送或写入接口,而应该叫做拷贝函数,拷贝到操作系统对应的缓冲区中,操作系统根据自己的策略执行某些操作。
2.报文在网络中进行路由转发时,并不是每一个报文选择的路由路径都是一样的,因此报文发送的顺序和接收的顺序可能是不同的。
问题:为什么UDP要有接收缓冲区?
答:如果UDP没有接收缓冲区,那么就要求上层及时将UDP获取到的报文读取上去,如果一个报文在UDP没有被读取,那么此时UDP从底层获取上来的报文数据就会被迫丢弃。
一个报文从一台主机传输到另一台主机,在传输过程中会消耗主机资源和网络资源。如果UDP收到一个报文后仅仅因为上次收到的报文没有被上层读取,而被迫丢弃一个可能并没有错误的报文,这就是在浪费主机资源和网络资源。
因此UDP本身是会维护一个接收缓冲区的,当有新的UDP报文到来时就会把这个报文放到接收缓冲区当中,此时上层在读数据的时就直接从这个接收缓冲区当中进行读取就行了,而如果UDP接收缓冲区当中没有数据那上层在读取时就会被阻塞。因此UDP的接收缓冲区的作用就是,将接收到的报文暂时的保存起来,供上层读取。
2.5.UDP使用注意事项
需要注意的是,UDP协议报头当中UDP长度部分是16比特位的,也就是说UDP报文最大长度是的,因此一个UDP报文的最大长度是64K(包含UDP报头的大小)。
然而64K在当今的互联网环境下,是一个非常小的数字。如果需要传输的数据超过64K,就需要在应用层进行手动分包,多次发送,并在接收端进行手动拼装。
2.6.基于UDP的应用层协议
• NFS:网络文件系统。
• TFTP:简单文件传输协议。
• DHCP:动态主机配置协议。
• BOOTP:启动协议(用于无盘设备启动)。
• DNS:域名解析协议。
当然,也包括你自己写UDP程序时自定义的应用层协议。
3.TCP协议
TCP全称为“传输控制协议(Transmission Control Protocol)”,TCP协议是当今互联网当中使用最为广泛的传输层协议,没有之一。
TCP协议被广泛应用,其根本原因就是提供了详尽的可靠性保证,基于TCP的上层应用非常多,比如HTTP、HTTPS、FTP、SSH等,甚至MySQL底层使用的也是TCP。
3.1.可靠性
网络中通信存在不可靠性:
不可靠性:丢包、乱序、校验失败等。
现代的计算机大部分都是基于冯诺依曼体系结构的。
虽然这里的输入设备、输出设备、内存、CPU都在一台机器上,但这几个硬件设备是彼此独立的。如果它们之间要进行数据交互,就必须要想办法进行通信,因此这几个设备实际是用“线”连接起来的,其中连接内存和外设之间的“线”叫做IO总线,而连接内存和CPU之间的“线”叫做系统总线。由于这几个硬件设备都是在一台机器上的,因此这里传输数据的“线”是很短的,传输数据时出现错误的概率也非常低。
但如果要进行通信的各个设备相隔千里,那么连接各个设备的“线”就会变得非常长,传输数据时出现错误(丢包、乱序、校验失败)的概率也会大大增高,此时要保证传输到对端的数据无误,就必须引入可靠性。
总之,网络中存在不可靠的根本原因就是,长距离数据传输所用的“线”太长了,数据在长距离传输过程中就可能会出现各种各样的问题,而TCP就是在此背景下诞生的,TCP就是一种保证可靠性的协议。
UDP协议存在的意义:
TCP协议是一种可靠的传输协议,使用TCP协议能够在一定程度上保证数据传输时的可靠性,而UDP协议是一种不可靠的传输协议,那UDP协议这种不可靠的协议存在有什么意义呢?
不可靠和可靠是两个中性词,它们描述的都是协议的特点。
• TCP协议是可靠的协议,也就意味着TCP协议需要做更多的工作来保证传输数据的可靠,并且引起不可靠的因素越多,保证可靠的成本(时间+空间)就越高。
• 比如数据在传输过程中出现了丢包、乱序、检验和失败等,这些都是不可靠的情况。
• 由于TCP要想办法解决数据传输不可靠的问题,因此TCP使用起来一定比UDP复杂,并且维护成本特别高。
• UDP协议是不可靠的协议,也就意味着UDP协议不需要考虑数据传输时可能出现的问题,因此UDP无论是使用还是维护都足够简单。
• 需要注意的是,虽然TCP复杂,但TCP的效率不一定比UDP低,TCP当中不仅有保证可靠性的机制,还有保证传输效率的各种机制。
UDP和TCP没有谁最好,只有谁最合适,网络通信时具体采用TCP还是UDP完全取决于上层的应用场景。如果应用场景严格要求数据在传输过程中的可靠性,那么就必须采用TCP协议,如果应用场景允许数据传输出现少量丢包,那么肯定优先选择UDP协议,因为UDP协议足够简单。
3.2.TCP协议格式
3.2.1.TCP协议格式概述
TCP报头当中各个字段的含义如下:
• 源/目的端口号:表示数据是从哪个进程来,到发送到对端主机上的哪个进程。
• 32位序号 /32 位确认号 : 后面详细讲解。• 4位首部长度: 表示该TCP头部(报头:20字节标准长度+选项长度)有多少个32位bit(有多少个4字节),所以TCP头部最大长度是15*4=60字节。
• 6位保留字段:TCP报头中暂时未使用的6个比特位。
• 16位窗口大小:保证TCP可靠性机制和效率提升机制的重要字段。
• 16位检验和:由发送端填充,采用CRC校验。接收端校验不通过,则认为接收到的数据有问题。(检验和包含TCP首部+TCP数据部分)
• 16位紧急指针:标识紧急数据在报文中的偏移量,需要配合标志字段当中的URG字段统一使用。
• 选项字段:TCP报头当中允许携带额外的选项字段,最多40字节。
TCP报头当中的6位标志位(6位保留字段):• URG:紧急指针是否有效。
• ACK:确认序号是否有效。
• PSH:提示接收端应用程序立刻将TCP接收缓冲区当中的数据读走。
• RST:表示要求对方重新建立连接。我们把携带RST标识的报文称为复位报文段。
• SYN:表示请求与对方建立连接。我们把携带SYN标识的报文称为同步报文段。
• FIN:通知对方,本端要关闭了。我们把携带FIN标识的报文称为结束报文段。
TCP报头在内核当中本质就是一个位段类型,给数据封装TCP报头时,实际上就是用该位段类型定义一个变量,然后填充TCP报头当中的各个属性字段,最后将这个TCP报头拷贝到数据的首部,至此便完成了TCP报头的封装。注:TCP协议的报头包括前20个字节和选项部分,TCP协议的前20个字节是TCP协议报头的标准长度。
问题1:TCP如何将报头与有效载荷进行分离?
答:TCP协议报头的标准长度是20字节,但TCP协议报头其实还包括选项部分,绝大部分时间选项部分为空,那么报头就是标准的20字节,但还是有小概率选项部分不为空,报头就不是20字节。
当TCP从底层获取到一个报文后,虽然TCP不知道报头的具体长度,但报文的前20个字节是TCP的基本报头,并且这20字节当中涵盖了4位的首部长度。
因此TCP是这样分离报头与有效载荷的:
• 当TCP获取到一个报文后,首先读取报文的前20个字节,并从中提取出4位的首部长度,此时便获得了TCP报头的大小size。
• 如果size的值大于20字节,则需要继续从报文当中读取size−20字节的数据,这部分数据就是TCP报头当中的选项字段。
• 如果TCP报头当中不携带选项字段,那么TCP报头的长度就是20字节,此时报头当中的4位首部长度的值就为 20 ÷ 4 = 5 ,也就是0101。问题2:TCP如何决定将有效载荷交付给上层的哪一个协议?
答:应用层的每一个网络进程都必须绑定一个端口号。
• 服务端进程必须显示绑定一个端口号。
• 客户端进程由系统动态绑定一个端口号。
而TCP的报头中涵盖了目的端口号,因此TCP可以提取出报头中的目的端口号,找到对应的应用层进程,进而将有效载荷交给对应的应用层进程进行处理。问题3:UDP报头中有报文长度,而TCP报头中只有首部(报头)长度,没有报文长度,那我们怎么知道数据(有效载荷)有多长呢?
答:TCP不需要知道数据(有效载荷)有多长,因为TCP是面向字节流的,到底数据(有效载荷)有多长是由应用层关心的,因此TCP报头中没有有效载荷长度,其只需要将传输的所有数据放在接收端缓冲区中即可。
正因为TCP是面向字节流的,不负责数据有多长的话题,数据有多长的话题由应用层决定,所以前面我们写TCP代码时需要循环式的读取和写入。文件和管道提供的也是流式服务,所以打开文件也可以叫做打开文件流。如果往文件中写入了10份数据,我每次要读取一份数据,那么我在文件内部也要定协议,进行序列化和反序列化操作,给序列化后的字符串添加报文长度。
TCP数据封装:
• 当应用层将数据交给传输层后,在传输层就会创建一个TCP报头位段结构体类型的变量,然后填充报头当中的各个字段,此时就得到了一个TCP报头。
• 此时操作系统再在内核当中开辟一块空间,将TCP报头和有效载荷拷贝到一起,此时就形成了TCP报文。注:我们之前在订应用层协议的时候,结构化的数据要经过序列化,最终传输的是字符串类型数据,而这里TCP协议报头部分传输的却是位段结构体类型的报头数据,这是因为所在层不同,网络协议栈内核(传输层、网络层)写好了不会怎么改变,因此做好对相关位段的优化后可以传输结构化的数据,而应用层不同,需求不同应用层代码就需要改变,我们序列化为字符串可以快速扩展。
对于传输层TCP报头部分,TCP报头这样传输结构化数据会存在很多问题(编译器编译造成结构体大小不同的问题、大小端的问题),为了解决这些问题,Linux源码中加了各种条件编译选项,进行了严格的编译规范,所以在Linux内核中TCP报头信息可以传输这种位段结构体类型对象。
3.2.2.序号与确认序号
问题1:发送端怎么确认自己发送的报文数据是丢了还是没丢?
答:发送端发送报文数据后,只要得到了接收端的应答,就意味着发送的报文数据没有丢(如果没有收到应答,就不确定报文数据有没有丢)。接收端做应答发送应答消息给发送端,接收端如何知道自己的应答消息是否丢失呢?答案是需要发送端对该应答消息做应答。
因此在长距离交互的时候,永远有一条最近的发送数据是没有应答的,所以世界上不存在百分百可靠的协议,但是我们可以得到一个局部可靠的协议,那就是只要最新发送的消息之前所发送的消息有对应的应答,我们就认为最新发送的消息之前所发送的消息对方是收到的,也就是说无法确认最新发送消息是否收到,但能确认之前发送的消息是否收到。
换言之,在通信时,我们将最核心的数据放在较前的位置发送,不核心的数据放在后面发送,我们就可以近似保证我们的消息被对方收到了,这就是可靠性的根本思想。
问题2:什么是真正的可靠?
答:在进行网络通信时,一方发出的数据后,它不能保证该数据能够成功被对端收到,因为数据在传输过程中可能会出现各种各样的错误,只有当收到对端主机发来的响应消息后,该主机才能保证上一次发送的数据被对端可靠的收到了,这就叫做真正的可靠。
举例说明:(实线表示该数据能够被对方可靠的收到,虚线则不能保证)
如下图一所示,TCP要保证的是双方通信的可靠性,虽然此时主机A能够保证自己上一次发送的数据被主机B可靠的收到了,但主机B也需要保证自己发送给主机A的响应数据被主机A可靠的收到了。因此主机A在收到了主机B的响应消息后,还需要对该响应数据进行响应,但此时又需要保证主机A发送的响应数据的可靠性…,如下图二所示,这样就陷入了一个死循环。
因为只有当一端收到对方的响应消息后,才能保证自己上一次发送的数据被对端可靠的收到了,但双方通信时总会有最新的一条消息,因此无法百分之百保证可靠性。
所以严格意义上来说,互联网通信当中是不存在百分之百的可靠性的,因为双方通信时总有最新的一条消息得不到响应。但实际没有必要保证所有消息的可靠性,我们只要保证双方通信时发送的每一个核心数据都有对应的响应就可以了。而对于一些无关紧要的数据(比如响应数据),我们没有必要保证它的可靠性。因为对端如果没有收到这个响应数据,会判定上一次发送的报文丢失了,此时对端可以将上一次发送的数据进行重传。
这种策略在TCP当中就叫做确认应答机制。需要注意的是,确认应答机制不是保证双方通信的全部消息的可靠性,而是只要一方收到了另一方的应答消息,就说明它上一次发送的数据被另一方可靠的收到了。
32位序号:
如果双方在进行数据通信时,只有收到了上一次发送数据的响应才能发下一个数据,那么此时双方的通信过程就是串行的,效率可想而知。
因此双方在进行网络通信时,允许一方向另一方连续发送多个报文数据,只要保证发送的每个报文都有对应的响应消息就行了,此时也就能保证这些报文被对方收到了。
但在连续发送多个报文时,由于各个报文在进行网络传输时选择的路径可能是不一样的,因此这些报文到达对端主机的先后顺序也就可能和发送报文的顺序是不同的。但报文有序也是可靠性的一种,因此TCP报头中的32位序号的作用之一实际就是用来保证报文的有序性的。
TCP将发送出去的每个字节数据都进行了编号,这个编号叫做序列号。
• 比如现在发送端要发送3000字节的数据,如果发送端每次发送1000字节,那么就需要用三个TCP报文来发送这3000字节的数据。
• 此时这三个TCP报文当中的32位序号填的就是发送数据中首个字节的序列号,因此分别填的是1、1001和2001。此时接收端收到了这三个TCP报文后,就可以根据TCP报头当中的32位序列号对这三个报文进行顺序重排(该动作在传输层进行),重排后将其放到TCP的接收缓冲区当中,此时接收端这里报文的顺序就和发送端发送报文的顺序是一样的了。
• 接收端在进行报文重排时,可以根据当前报文的32位序号与其有效载荷的字节数,进而确定下一个报文对应的序号。
注:
1.TCP在进行通信的时候,绝对不要忘记发送出去的报文数据一定会携带TCP报头。
2.实际中,为防止黑客攻击,发送端发送报文的起始序号并不是从1开始的,而是随机生成的一个值,后面报文的序号规则与上面例子相同,为上一个报文的序号加上一个报文有效载荷的长度。
32位确认序号:
TCP报头当中的32位确认序号是告诉对端,我当前已经收到了哪些数据,你的数据下一次应该从哪里开始发。
当主机B收到主机A发送过来的32位序号为1的报文时,由于该报文当中包含1000字节的数据,因此主机B已经收到序列号为1-1000的字节数据,于是主机B发给主机A的响应数据的报头当中的32位确认序号的值就会填成1001。
• 一方面是告诉主机A,序列号在1001之前的字节数据我已经收到了。
• 另一方面是告诉主机A,下次向我发送数据时应该从序列号为1001的字节数据开始进行发送。
之后主机B对主机A发来的其他报文进行响应时,发给主机A的响应当中的32位确认序号的填法也是类似的道理。注:
1.响应数据与其他数据一样,也是一个完整的TCP报文,尽管该报文可能不携带有效载荷,但至少是一个TCP报头。
2.响应报文的确认序号值用于表明该值之前的报文已全部收到。以上面的例子为例,响应报文也存在丢包的可能,但是如果发送端收到响应报文的32位确认序号的值为2001,即使没收到32位确认序号的值为1001的响应报文,也认为对方已经收到前1000字节数据的报文。
3.如果接收端收到了六个报文,六个报文的32位序号分别为1、2、3、5、6、7,那么接收端的响应报文32位确认序号应为4。
4.因为报文的32位序号和32位确认序号是递增的,如果报文的32位序号或32位确认序号所对应的值已经达到了32位比特位所能表示的最大值(溢出),那么会进行回绕,从最开始数值继续进行。
问题1:报文丢失怎么办?
答:还是以刚才的例子为例,主机A发送了三个报文给主机B,其中每个报文的有效载荷都是1000字节,这三个报文的32位序号分别是1、1001、2001。
如果这三个报文在网络传输过程中出现了丢包,最终只有序号为1和2001的报文被主机B收到了,那么当主机B在对报文进行顺序重排的时候,就会发现只收到了1-1000和2001-3000的字节数据。此时主机B在对主机A进行响应时,其响应报头当中的32位确认序号填的就是1001,告诉主机A下次向我发送数据时应该从序列号为1001的字节数据开始进行发送。
因此发送端可以根据对端发来的确认序号,来判断是否某个报文可能在传输过程中丢失了。
注:此时主机B在给主机A响应时,其32位确认序号不能填3001,因为1001-2000是在3001之前的,如果直接给主机A响应3001,就说明序列号在3001之前的字节数据全都收到了。因此主机B只能给主机A响应1001,当主机A收到该确认序号后就会判定序号为1001的报文丢包了,此时主机A就可以选择进行数据重传。
问题2:为什么要用两套序号机制?
答:如果通信双方只是一端发送数据,另一端接收数据,那么只用一套序号就可以了。
• 发送端在发送数据时,将该序号看作是32位序号。
• 接收端在对发送端发来的数据进行响应时,将该序号看作是32位确认序号。
但实际TCP却没有这么做,根本原因就是因为TCP是全双工的,双方可能同时想给对方发送消息。• 双方发出的报文当中,不仅需要填充32位序号来表明自己当前发送数据的序号。
• 还需要填充32位确认序号,对对方上一次发送的数据进行确认,告诉对方下一次应该从哪一字节序号开始进行发送。
因此在进行TCP通信时,双方都需要有确认应答机制,此时一套序号就无法满足需求了,因此需要TCP报头当中出现了两套序号。
总结:
• 32位序号的作用是,保证数据的按序到达,同时这个序号也是作为对端发送报文时填充32位确认序号的根据。
• 32位确认序号的作用是,告诉对端当前已经收到的字节数据有哪些,对端下一次发送数据时应该从哪一字节序号开始进行发送。
• 序号和确认序号是确认应答机制的数据化表示,确认应答机制就是由序号和确认序号来保证的。
• 此外,通过序号和确认序号还可以判断某个报文是否丢失。
3.2.3.窗口大小
TCP的接收缓冲区和发送缓冲区:
TCP本身是具有接收缓冲区和发送缓冲区的:
• 接收缓冲区用来暂时保存接收到的数据。
• 发送缓冲区用来暂时保存还未发送的数据。
• 这两个缓冲区都是在TCP传输层内部实现的。
• TCP发送缓冲区当中的数据由上层应用应用层进行写入。当上层调用write/send这样的系统调用接口时,实际不是将数据直接发送到了网络当中,而是将数据从应用层拷贝到了TCP的发送缓冲区当中。
• TCP接收缓冲区当中的数据最终也是由应用层来读取的。当上层调用read/recv这样的系统调用接口时,实际也不是直接从网络当中读取数据,而是将数据从TCP的接收缓冲区拷贝到了应用层而已。
• 就好比调用read和write进行文件读写时,并不是直接从磁盘读取数据,也不是直接将数据写入到磁盘上,而对文件缓冲区进行的读写操作。当数据写入到TCP的发送缓冲区后,对应的write/send函数就可以返回了,至于发送缓冲区当中的数据具体什么时候发,怎么发等问题实际都是由操作系统内的TCP决定的。
我们之所以称TCP为传输层控制协议,就是因为最终数据的发送和接收方式,以及传输数据时遇到的各种问题应该如何解决,都是由TCP自己决定的,用户只需要将数据拷贝到TCP的发送缓冲区,以及从TCP的接收缓冲区当中读取数据即可。
需要注意的是,通信双方的TCP层都是一样的,因此通信双方的TCP层都是既有发送缓冲区又有接收缓冲区。正是因为通信双方的TCP层都是既有发送缓冲区又有接收缓冲区,所以TCP通信的时候是全双工的。
TCP的发送缓冲区和接收缓冲区存在的意义:
发送缓冲区和接收缓冲区的作用:
• 数据在网络中传输时可能会出现某些错误,此时就可能要求发送端进行数据重传,因此TCP必须提供一个发送缓冲区来暂时保存发送出去的数据,以免需要进行数据重传。只有当发出去的数据被对端可靠的收到后,发送缓冲区中的这部分数据才可以被覆盖掉。
• 接收端处理数据的速度是有限的,为了保证没来得及处理的数据不会被迫丢弃,因此TCP必须提供一个接收缓冲区来暂时保存未被处理的数据,因为数据传输是需要耗费资源的,我们不能随意丢弃正确的报文。此外,TCP的数据重排也是在接收缓冲区当中进行的。经典的生产者消费者模型:
• 对于发送缓冲区来说,上层应用不断往发送缓冲区当中放入数据,下层网络层不断从发送缓冲区当中拿出数据准备进一步封装。此时上层应用扮演的就是生产者的角色,下层网络层扮演的就是消费者的角色,而发送缓冲区对应的就是“交易场所”。
• 对于接收缓冲区来说,上层应用不断从接收缓冲区当中拿出数据进行处理,下层网络层不断往接收缓冲区当中放入数据。此时上层应用扮演的就是消费者的角色,下层网络层扮演的就是生产者的角色,而接收缓冲区对应的就是“交易场所”。
• 因此引入发送缓冲区和接收缓冲区相当于引入了两个生产者消费者模型,该生产者消费者模型将上层应用与底层通信细节进行了解耦,此外,生产者消费者模型的引入同时也支持了并发和忙闲不均。
窗口大小:
当发送端要将数据发送给对端时,本质是把自己发送缓冲区当中的数据发送到对端的接收缓冲区当中。但缓冲区是有大小的,如果接收端处理数据的速度小于发送端发送数据的速度,那么总有一个时刻接收端的接收缓冲区会被打满,这时发送端再发送数据过来就会造成数据丢包,进而引起丢包重传等一系列的连锁反应。
因此TCP报头当中就有了16位的窗口大小,这个16位窗口大小当中填的是自身接收缓冲区中剩余空间的大小,也就是当前主机接收数据的能力。
接收端在对发送端发来的数据进行响应时,就可以通过16位窗口大小告知发送端自己当前接收缓冲区剩余空间的大小,此时发送端就可以根据这个窗口大小字段来调整自己发送数据的速度。
• 窗口大小字段越大,说明接收端接收数据的能力越强,此时发送端可以提高发送数据的速度。
• 窗口大小字段越小,说明接收端接收数据的能力越弱,此时发送端可以减小发送数据的速度。
• 如果窗口大小的值为0,说明接收端接收缓冲区已经被打满了,此时发送端就不应该再发送数据了。注:窗口字段的功能就是流量控制,而流量控制是双向的。
理解现象:
• 在编写TCP套接字时,我们调用read/recv函数从套接字当中读取数据时,可能会因为套接字当中没有数据而被阻塞住,本质是因为TCP的接收缓冲区当中没有数据了,我们实际是阻塞在接收缓冲区当中了。
• 而我们调用write/send函数往套接字中写入数据时,可能会因为套接字已经写满而被阻塞住,本质是因为TCP的发送缓冲区已经被写满了,我们实际是阻塞在发送缓冲区当中了。
• 在生产者消费者模型当中,如果生产者生产数据时被阻塞,或消费者消费数据时被阻塞,那么一定是因为某些条件不就绪而被阻塞。
3.2.4.六个标志位
标志位存在的意义:
• TCP报文的种类多种多样,除了正常通信时发送的普通报文,还有建立连接时发送的请求建立连接的报文,以及断开连接时发送的断开连接的报文等等,因此报文也是有类别的。
• 收到不同种类的报文时需要执行对应动作,比如正常通信的报文需要放到接收缓冲区当中等待上层应用进行读取,而建立和断开连接的报文本质不是交给用户处理的,而是需要让操作系统在TCP层执行对应的握手和挥手动作。
• 也就是说不同种类的报文对应的是不同的处理逻辑,所以我们要能够区分报文的种类。而TCP就是使用报头当中的六个标志字段来进行区分的,这六个标志位都只占用一个比特位,为0表示假,为1表示真。注:只有完成了三次握手,才算建立连接成功,只有建立连接成功,才能正式通信。
六个标志位:
SYN:
• 报文当中的SYN被设置为1,表明该报文是一个连接建立的请求报文。
• 只有在连接建立阶段,SYN才被设置,正常通信时SYN不会被设置。
ACK:
• 报文当中的ACK被设置为1,表明该报文可以对收到的报文进行确认。
• 一般除了第一个请求报文没有设置ACK以外,其余报文基本都会设置ACK,因为发送出去的数据本身就对对方发送过来的数据具有一定的确认能力,因此双方在进行数据通信时,可以顺便对对方上一次发送的数据进行响应。
FIN:
• 报文当中的FIN被设置为1,表明该报文是一个连接断开的请求报文。
• 只有在断开连接阶段,FIN才被设置,正常通信时FIN不会被设置。
URG:
双方在进行网络通信的时候,由于TCP是保证数据按序到达的,即便发送端将要发送的数据分成了若干个TCP报文进行发送,最终到达接收端时这些数据也都是有序的,因为TCP可以通过序号来对这些TCP报文进行顺序重排,最终就能保证数据到达对端接收缓冲区中时是有序的。
TCP按序到达本身也是我们的目的,此时对端上层在从接收缓冲区读取数据时也必须是按顺序读取的。但是有时候发送端可能发送了一些“紧急数据”,这些数据需要优先让对方上层提取进行读取,此时应该怎么办呢?
此时就需要用到URG标志位,以及TCP报头当中的16位紧急指针。
• 当URG标志位被设置为1时,需要通过TCP报头当中的16位紧急指针来找到紧急数据,否则一般情况下不需要关注TCP报头当中的16位紧急指针。
• 16位紧急指针代表的就是紧急数据在报文(准确的说是有效载荷数据)中的偏移量。
• 因为紧急指针只有一个,它只能标识数据段中的一个位置,因此紧急数据只能发送一个字节的数据,而至于这一个字节的具体含义这里就不展开讨论了。
recv函数的第四个参数flags有一个叫做MSG_OOB的选项可供设置,其中OOB是带外数据(out-of-band)的简称,带外数据就是一些比较重要的数据,因此上层如果想读取紧急数据,就可以在使用recv函数进行读取,并设置MSG_OOB选项。与之对应的send函数的第四个参数flags也提供了一个叫做MSG_OOB的选项,上层如果想发送紧急数据,就可以使用send函数进行写入,并设置MSG_OOB选项。
URG应用场景:URG一般用于获取主机或服务器的状态。例如客户端用xshell连接服务器给服务器发指令,而服务器因为压力大积压了很多东西而无反应,客户端想了解服务器的情况,那么客户端就可以给服务器发送紧急数据,假设这个紧急数据为1(紧急数据因为只有一个字节,因此一般是一个数值),服务器收到紧急数据1后会优先处理,服务器收到紧急数据1会去执行预先写好的逻辑,然后以紧急指针的方式给客户端返回紧急数据,假设这个返回的紧急数据为20,那么客户端收到紧急数据20后就知道了服务端慢的原因,此时客户端用户就可以去通知服务器维护人员对服务器进行维护。
PSH:
报文当中的PSH被设置为1,是在告诉对方尽快将你的接收缓冲区当中的数据交付给上层。
我们一般认为:
• 当使用read/recv从缓冲区当中读取数据时,如果缓冲区当中有数据read/recv函数就能够读到数据进行返回,而如果缓冲区当中没有数据,那么此时read/recv函数就会阻塞住,直到当缓冲区当中有数据时才会读取到数据进行返回。
实际这种说法是不太准确的,其实接收缓冲区和发送缓冲区都有一个水位线的概念。• 比如我们假设TCP接收缓冲区的水位线是100字节,那么只有当接收缓冲区当中有100字节时才让read/recv函数读取这100字节的数据进行返回。
• 如果接收缓冲区当中有一点数据就让read/recv函数读取返回了,此时read/recv就会频繁的进行读取和返回,进而影响读取数据的效率(在内核态和用户态之间切换也是有成本的)。
• 因此不是说接收缓冲区当中只要有数据,调用read/recv函数时就能读取到数据进行返回,而是当缓冲区当中的数据量达到一定量时才能进行读取。
当报文当中的PSH被设置为1时,实际就是在告知对方操作系统,尽快将接收缓冲区当中的数据交付给上层,尽管接收缓冲区当中的数据还没到达所指定的水位线。这也就是为什么我们使用read/recv函数读取数据时,期望读取的字节数和实际读取的字节数是不一定吻合的。RST:
• 报文当中的RST被设置为1,表示需要让对方重新建立连接。
• 在通信双方在连接未建立好的情况下,一方向另一方发数据,此时另一方发送的响应报文当中的RST标志位就会被置1,表示要求对方重新建立连接。
• 在双方建立好连接进行正常通信时,如果通信中途发现之前建立好的连接出现了异常也会要求重新建立连接。注:当客户端与服务端建立连接时,三次握手已经完成了前两次握手,第三次握手客户端发送的报文丢失,而此时客户端认为连接建立好了并向服务器发送数据时,此时服务器会发现没有和该客户端建立连接,进而要求客户端重新建立连接,服务器给客户端发送的重新建立连接请求其报头RST就要被设置为1。
3.3.确认应答机制(ACK)
TCP保证可靠性的机制之一就是确认应答机制。
确认应答机制就是由TCP报头当中的,32位序号和32位确认序号来保证的。需要再次强调的是,确认应答机制不是保证双方通信的全部消息的可靠性,而是通过收到对方的应答消息,来保证自己曾经发送给对方的某一条消息被对方可靠的收到了。
理解TCP将每个字节的数据都进行了编号:
TCP是面向字节流的,我们可以将TCP的发送缓冲区和接收缓冲区都想象成一个字符数组。
• 此时上层应用拷贝到TCP发送缓冲区当中的每一个字节数据天然有了一个序号,这个序号就是字符数组的下标,只不过这个下标不是从0开始的,而是从1开始往后递增的。
• 而双方在通信时,本质就是将自己发送缓冲区当中的数据拷贝到对方的接收缓冲区当中。
• 发送方发送数据时报头当中所填的序号,实际就是发送的若干字节数据当中,首个字节数据在发送缓冲区当中对应的下标。
• 接收方接收到数据进行响应时,响应报头当中的确认序号实际就是,接收缓冲区中接收到的最后一个有效数据的下一个位置所对应的下标。
• 当发送方收到接收方的响应后,就可以从下标为确认序号的位置继续进行发送了。
3.4.超时重传机制
双方在进行网络通信时,发送方发出去的数据在一个特定的事件间隔内如果得不到对方的应答,此时发送方就会进行数据重发,这就是TCP的超时重传机制。
需要注意的是,TCP保证双方通信的可靠性,一部分是通过TCP的协议报头体现出来的,还有一部分是通过实现TCP的代码逻辑体现出来的。
丢包的两种情况:
丢包分为两种情况,一种是发送的数据报文丢失了,此时发送端在一定时间内收不到对应的响应报文,就会进行超时重传,如下图一所示。丢包的另一种情况其实不是发送端发送的数据丢包了,而是对方发来的响应报文丢包了,此时发送端也会因为收不到对应的响应报文,而进行超时重传,如下图二所示。
• 当出现丢包时,发送方是无法辨别是发送的数据报文丢失了,还是对方发来的响应报文丢失了,因为这两种情况下发送方都收不到对方发来的响应报文,此时发送方就只能进行超时重传。
• 如果是对方的响应报文丢失而导致发送方进行超时重传,此时接收方就会再次收到一个重复的报文数据,但此时也不用担心,接收方可以根据报头当中的32位序号来判断曾经是否收到过这个报文,从而达到报文去重的目的。
• 需要注意的是,当发送缓冲区当中的数据被发送出去后,操作系统不会立即将该数据从发送缓冲区当中删除或覆盖,而会让其保留在发送缓冲区当中,以免需要进行超时重传,直到收到该数据的响应报文后,发送缓冲区中的这部分数据才可以被删除或覆盖。
超时重传的等待时间:
• 超时重传的时间不能设置的太长也不能设置的太短。
• 超时重传的时间设置的太短,会导致对方收到大量的重复报文,可能对方发送的响应报文还在网络中传输而并没有丢包,但此时发送方就开始进行数据重传了,并且发送大量重复报文会也是对网络资源的浪费。
因此超时重传的时间一定要是合理的,最理想的情况就是找到一个最小的时间,保证“确认应答一定能在这个时间内返回”。但这个时间的长短,是与网络环境有关的。网好的时候重传的时间可以设置的短一点,网卡的时候重传的时间可以设置的长一点,也就是说超时重传设置的等待时间一定是上下浮动的,因此这个时间不可能是固定的某个值。TCP为了保证无论在任何环境下都能有比较高性能的通信,因此会动态计算这个最大超时时间。
• Linux中(BSD Unix和Windows也是如此),超时以500ms为一个单位进行控制,每次判定超时重发的超时时间都是500ms的整数倍。
• 如果重发一次之后,仍然得不到应答,下一次重传的等待时间就是2×500ms。
• 如果仍然得不到应答,那么下一次重传的等待时间就是4×500ms。以此类推,以指数的形式递增。
• 当累计到一定的重传次数后,TCP就会认为是网络或对端主机出现了异常,进而强制关闭连接。
3.5.连接管理机制
TCP是面向连接的:
TCP的各种可靠性机制实际都不是从主机到主机的,而是基于连接的,与连接是强相关的。比如一台服务器启动后可能有多个客户端前来访问,如果TCP不是基于连接的,也就意味着服务器端只有一个接收缓冲区,此时各个客户端发来的数据都会拷贝到这个接收缓冲区当中,此时这些数据就可能会互相干扰。
而我们在进行TCP通信之前需要先建立连接,就是因为TCP的各种可靠性保证都是基于连接的,要保证传输数据的可靠性的前提就是先建立好连接。
操作系统对连接的管理:
面向连接是TCP可靠性的一种,只有在通信建立好连接才会有各种可靠性的保证,而一台机器上可能会存在大量的连接,此时操作系统就不得不对这些连接进行管理。
• 操作系统在管理这些连接时需要“先描述,再组织”,在操作系统中一定有一个描述连接的结构体,该结构体当中包含了连接的各种属性字段,所有定义出来的连接结构体最终都会以某种数据结构组织起来,此时操作系统对连接的管理就变成了对该数据结构的增删查改。
• 建立连接,实际就是在操作系统中用该结构体定义一个结构体变量,然后填充连接的各种属性字段,最后将其插入到管理连接的数据结构当中即可。
• 断开连接,实际就是将某个连接从管理连接的数据结构当中删除,释放该连接曾经占用的各种资源。
• 因此连接的管理也是有成本的,这个成本就是管理连接结构体的时间成本,以及存储连接结构体的空间成本。
3.5.1.三次握手
三次握手的过程:
双方在进行TCP通信之前需要先建立连接,建立连接的这个过程我们称之为三次握手。
以服务器和客户端为例,当客户端想要与服务器进行通信时,需要先与服务器建立连接,此时客户端作为主动方会先向服务器发送连接建立请求,然后双方TCP在底层会自动进行三次握手。
• 第一次握手:客户端向服务器发送的报文当中的SYN位被设置为1,表示请求与服务器建立连接。
• 第二次握手:服务器收到客户端发来的连接请求报文后,紧接着向客户端发起连接建立请求并对客户端发来的连接请求进行响应,此时服务器向客户端发送的报文当中的SYN位和ACK位均被设置为1。
• 第三次握手:客户端收到服务器发来的报文后,得知服务器收到了自己发送的连接建立请求,并请求和自己建立连接,最后客户端再向服务器发来的报文进行响应。
需要注意的是,客户端向服务器发起的连接建立请求,是请求建立从客户端到服务器方向的通信连接,而TCP是全双工通信,因此服务器在收到客户端发来的连接建立请求后,服务器也需要向客户端发起连接建立请求,请求建立从服务器到客户端方法的通信连接。
三次握手的原因:(为什么是三次握手)
首先我们需要知道,连接建立不是百分之百能成功的,通信双方在进行三次握手时,其中前两次握手能够保证被对方收到,因为前两次握手都有对应的下一次握手对其进行响应,但第三次握手是没有对应的响应报文的,如果第三次握手时客户端发送的ACK报文丢失了,那么连接建立就会失败。
虽然客户端发起第三次握手后就完成了三次握手,但服务器却没有收到客户端发来的第三次握手,此时服务器端就不会建立对应的连接。所以建立连接时不管采用几次握手,最后一次握手的可靠性都是不能保证的。
既然连接的建立都不是百分之百成功的,因此建立连接时具体采用几次握手的依据,实际是看几次握手时的优点更多。
优点一,三次握手是验证双方通信信道的最小次数:
• 因为TCP是全双工通信的,因此连接建立的核心要务实际是,验证双方的通信信道是否是连通的。
• 而三次握手恰好是验证双方通信信道的最小次数,通过三次握手后双方就都能知道自己和对方是否都能够正常发送和接收数据。
• 在客户端看来,当它收到服务器发来第二次握手时,说明自己发出的第一次握手被对方可靠的收到了,证明自己能发以及服务器能收,同时当自己收到服务器发来的第二次握手时,也就证明服务器能发以及自己能收,此时就证明自己和服务器都是能发能收的。
• 在服务器看来,当它收到客户端发来第一次握手时,证明客户端能发以及自己能收,而当它收到客户端发来的第三次握手时,说明自己发出的第二次握手被对方可靠的收到了,也就证明自己能发以及客户端能收,此时就证明自己和客户端都是能发能收的。
• 既然三次握手已经能够验证双方通信信道是否正常了,那么三次以上的握手当然也是可以验证的,但既然三次已经能验证了就没有必要再进行更多次的握手了。
优点二,三次握手能够保证连接建立时的异常连接挂在客户端:• 当客户端收到服务器发来的第二次握手时,客户端就已经证明双方通信信道是连通的了,因此当客户端发出第三次握手后,这个连接就已经在客户端建立了。
• 而只有当服务器收到客户端发来的第三次握手后,服务器才知道双方通信信道是连通的,此时在服务器端才会建立对应的连接。
• 因此双方在进行三次握手建立连接时,双方建立连接的时间点是不一样的。如果客户端最后发出的第三次握手丢包了,此时在服务器端就不会建立对应的连接,而在客户端就需要短暂的维护一个异常的连接。
• 而维护连接是需要时间成本和空间成本的,因此三次握手还有一个好处就是能够保证连接建立异常时,这个异常连接是挂在客户端的,而不会影响到服务器。
• 此外,建立连接失败时的异常连接不会一直维护下去。如果服务器端长时间收不到客户端发来的第三次握手,就会将第二次握手进行超时重传,此时客户端就有机会重新发出第三次握手。或者当客户端认为连接建立好后向服务器发送数据时,此时服务器会发现没有和该客户端建立连接而要求客户端重新建立连接。
因此,这里给出两个建立连接时采用三次握手的理由:• 三次握手是验证双方通信信道的最小次数,能够让能建立的连接尽快建立起来。
• 三次握手能够保证连接建立时的异常连接挂在客户端(风险转移)。注:一次握手和两次握手不可行的另一个重要原因是,如果一次握手即客户端给服务端发送连接后,服务端就建立连接成功创建连接结构体进行维护,那么如果黑客使用主机不停的给服务端发送第一次握手(SYN洪水攻击),那么服务端就要不停建立连接结构体进行维护,会导致服务器内存被占用进而变慢甚至挂掉,两次握手与一次握手相同,客户端给服务器发送第一次握手后,服务器给客户端发送第二次握手,服务器发送第二次握手的同时也就建立连接成功了,服务器会建立连接结构体进行维护,同样无法抵御SYN洪水攻击。
其实三次握手,服务器也无法抵御SYN洪水攻击,但是对于三次握手,客户端也建立了连接,也需要不停建立连接结构体进行维护,而服务器性能高于一般主机,最终客户端主机一定会先挂掉。所以对于三次握手,黑客不能只用一台主机对服务器进行SYN洪水攻击,黑客一般会在网络内洒下木马,控制很多主机一起攻击服务器,对于这种情况,服务器就需要使用防火墙等其他安全模块进行抵御。
三次握手时的状态变化:
三次握手时的状态变化如下:
• 最开始时客户端和服务器都处于CLOSED状态。
• 然后服务器从CLOSED状态转为LISTEN监听状态。
• 此时客户端就可以向服务器发起三次握手了,当客户端发起第一次握手后,状态变为SYN_SENT状态。• 服务端收到客户端发来的第一次握手后,给客户端响应,发起第二次握手,服务端发起第二次握手后,状态变为SYN_RCVD状态。
• 当客户端收到服务器发来的第二次握手后,紧接着向服务器发送最后一次握手,此时客户端的连接已经建立,状态变为ESTABLISHED。• 服务端收到客户端发来的最后一次握手后,服务端建立连接,状态变为ESTABLISHED。
至此三次握手结束,通信双方可以开始进行数据交互了。
3.5.2.四次挥手
四次挥手的过程:
由于双方维护连接都是需要成本的,因此当双方TCP通信结束之后就需要断开连接,断开连接的这个过程我们称之为四次挥手。
还是以服务器和客户端为例,当客户端与服务器通信结束后,需要与服务器断开连接,此时就需要进行四次挥手。
• 第一次挥手:客户端向服务器发送的报文当中的FIN位被设置为1,表示请求与服务器断开连接。
• 第二次挥手:服务器收到客户端发来的断开连接请求后对其进行响应。
• 第三次挥手:服务器收到客户端断开连接的请求,且已经没有数据需要发送给客户端的时候,服务器就会向客户端发起断开连接请求。
• 第四次挥手:客户端收到服务器发来的断开连接请求后对其进行响应。
四次挥手结束后双方的连接才算真正断开。
四次挥手的原因:(为什么是四次挥手)
• 由于TCP是全双工的,建立连接的时候需要建立双方的连接,断开连接时也同样如此。在断开连接时不仅要断开从客户端到服务器方向的通信信道,也要断开从服务器到客户端的通信信道,其中每两次挥手对应就是关闭一个方向的通信信道,因此断开连接时需要进行四次挥手。
• 需要注意的是,四次挥手当中的第二次和第三次挥手不能合并在一起,因为第三次握手是服务器端想要与客户端断开连接时发给客户端的请求,而当服务器收到客户端断开连接的请求并响应后,服务器不一定会马上发起第三次挥手,因为服务器可能还有某些数据要发送给客户端,只有当服务器端将这些数据发送完后才会向客户端发起第三次挥手。
四次挥手时的状态变化:
四次挥手时的状态变化如下:
• 在挥手前客户端和服务器都处于连接建立后的ESTABLISHED状态。
• 客户端为了与服务器断开连接主动向服务器发起连接断开请求,此时客户端的状态变为FIN_WAIT_1。
• 服务器收到客户端发来的连接断开请求后对其进行响应,此时服务器的状态变为CLOSE_WAIT。
• 当服务器没有数据需要发送给客户端的时,服务器会向客户端发起断开连接请求,等待最后一个ACK到来,此时服务器的状态变为LASE_ACK。
• 客户端收到服务器发来的第三次挥手后,会向服务器发送最后一个响应报文,此时客户端进入TIME_WAIT状态。
• 当服务器收到客户端发来的最后一个响应报文时,服务器会彻底关闭连接,变为CLOSED状态。
• 而客户端则会等待一个2MSL(Maximum Segment Lifetime,报文最大生存时间)才会进入CLOSED状态。
至此四次挥手结束,通信双方成功断开连接。
套接字和四次挥手之间的关系:
• 客户端发起断开连接请求,对应就是客户端主动调用close函数。
• 服务器发起断开连接请求,对应就是服务器主动调用close函数。
• 一个close对应的就是两次挥手,双方都要调用close,因此就是四次挥手。
CLOSE_WAIT状态:
• 双方在进行四次挥手时,如果只有客户端调用了close函数,而服务器不调用close函数,此时服务器就会进入CLOSE_WAIT状态,而客户端则会进入到FIN_WAIT_2状态。
• 但只有完成四次挥手后连接才算真正断开,此时双方才会释放对应的连接资源。如果服务器没有主动关闭不需要的文件描述符,此时在服务器端就会存在大量处于CLOSE_WAIT状态的连接,而每个连接都会占用服务器的资源,最终就会导致服务器可用资源越来越少。
• 因此如果不及时关闭不用的文件描述符,除了会造成文件描述符泄漏以外,可能也会导致连接资源没有完全释放,这其实也是一种内存泄漏的问题。
• 因此在编写网络套接字代码时,如果发现服务器端存在大量处于CLOSE_WAIT状态的连接,此时就可以检查一下是不是服务器没有及时调用close函数关闭对应的文件描述符。TIME_WAIT状态:
四次挥手中前三次挥手丢包时的解决方法:
• 第一次挥手丢包:客户端收不到服务器的应答,进而进行超时重传。
• 第二次挥手丢包:客户端收不到服务器的应答,进而进行超时重传。
• 第三次挥手丢包:服务器收不到客户端的应答,进而进行超时重传。
• 第四次挥手丢包:服务器收不到客户端的应答,进而进行超时重传。如果客户端在发出第四次挥手后立即进入CLOSED状态,此时服务器虽然进行了超时重传,但已经得不到客户端的响应了,因为客户端已经将连接关闭了。
服务器在经过若干次超时重发后得不到响应,最终也一定会将对应的连接关闭,但在服务器不断进行超时重传期间还需要维护这条废弃的连接,这样对服务器是非常不友好的。
为了避免这种情况,因此客户端在四次挥手后没有立即进入CLOSED状态,而是进入到了TIME_WAIT状态进行等待,此时要是第四次挥手的报文丢包了,客户端也能收到服务器重发的报文然后进行响应。
TIME_WAIT状态存在的必要性:
• 客户端在进行四次挥手后进入TIME_WAIT状态,如果第四次挥手的报文丢包了,客户端在一段时间内仍然能够接收服务器重发的FIN报文并对其进行响应,能够较大概率保证最后一个ACK被服务器收到。
• 客户端发出最后一次挥手时,双方历史通信的数据可能还没有发送到对方。因此客户端四次挥手后进入TIME_WAIT状态,还可以保证双方通信信道上的数据在网络中尽可能的消散。实际第四次挥手丢包后,可能双方网络状态出现了问题,尽管客户端还没有关闭连接,也收不到服务器重发的连接断开请求,此时客户端TIME_WAIT等若干时间最终会关闭连接,而服务器经过多次超时重传后也会关闭连接。这种情况虽然也让服务器维持了闲置的连接,但毕竟是少数,引入TIME_WAIT状态就是争取让主动发起四次挥手的客户端维护这个成本。
因此TCP并不能完全保证建立连接和断开连接的可靠性,TCP保证的是建立连接之后,以及断开连接之前双方通信数据的可靠性。
问题:TIME_WAIT的等待时长是多少?
答:TIME_WAIT的等待时长既不能太长也不能太短。
• 太长会让等待方维持一个较长的时间的TIME_WAIT状态,在这个时间内等待方也需要花费成本来维护这个连接,这也是一种浪费资源的现象。
• 太短可能没有达到我们最初目的,没有保证ACK被对方较大概率收到,也没有保证数据在网络中消散,此时TIME_WAIT的意义也就没有了。
TCP协议规定,主动关闭连接的一方在四次挥手后要处于TIME_WAIT状态,等待两个MSL(Maximum Segment Lifetime,报文最大生存时间)的时间才能进入CLOSED状态。MSL在RFC1122中规定为两分钟,但是各个操作系统的实现不同,比如在Centos7上默认配置的值是60s。我们可以通过cat /proc/sys/net/ipv4/tcp_fin_timeout命令来查看MSL的值。
问题:TIME_WAIT的等待时长设置为两个MSL的原因是什么?
答:MSL是TCP报文的最大生存时间,因此TIME_WAIT状态持续存在2MSL的话,就能保证在两个传输方向上的尚未被接收或迟到的报文段都已经消失,同时也是在理论上保证最后一个报文可靠到达的时间。
3.6.流量控制
TCP支持根据接收端的接收数据的能力来决定发送端发送数据的速度,这个机制叫做流量控制(Flow Control)。
接收端处理数据的速度是有限的,如果发送端发的太快,导致接收端的缓冲区被打满,此时发送端继续发送数据,就会造成丢包,进而引起丢包重传等一系列连锁反应。
因此接收端可以将自己接收数据的能力告知发送端,让发送端控制自己发送数据的速度。
• 接收端将自己可以接收的缓冲区大小放入TCP首部中的“窗口大小”字段,通过ACK通知发送端。
• 窗口大小字段越大,说明网络的吞吐量越高。
• 接收端一旦发现自己的缓冲区快满了,就会将窗口大小设置成一个更小的值通知给发送端。
• 发送端接收到这个窗口之后,就会减慢自己发送的速度。
• 如果接收端缓冲区满了,就会将窗口值设置为0,这时发送方不再发送数据,但需要定期发送一个窗口探测数据段,使接收端把窗口大小告诉发送端。
当发送端得知接收端接收数据的能力为0时会停止发送数据,此时发送端会通过以下两种方式来得知何时可以继续发送数据。• 等待告知。接收端上层将接收缓冲区当中的数据读走后,接收端向发送端发送一个TCP报文,主动将自己的窗口大小告知发送端,发送端得知接收端的接收缓冲区有空间后就可以继续发送数据了。
• 主动询问。发送端每隔一段时间向接收端发送报文,该报文不携带有效数据,只是为了询问发送端的窗口大小,直到接收端的接收缓冲区有空间后发送端就可以继续发送数据了。
问题1:16位数字最大表示65535,那TCP窗口最大就是65535吗?
答:理论上确实是这样的,但实际上TCP报头当中40字节的选项字段中包含了一个窗口扩大因子M,实际窗口大小是窗口字段的值左移M位得到的。
问题2:第一次向对方发送数据时如何得知对方的窗口大小?答:双方在进行TCP通信之前需要先进行三次握手建立连接,而双方在握手时除了验证双方通信信道是否通畅以外,还进行了其他信息的交互,其中就包括告知对方自己的接收能力,因此在双方还没有正式开始通信之前就已经知道了对方接收数据能力,所以双方在发送数据时是不会出现缓冲区溢出的问题的。
3.7.滑动窗口
连续发送多个数据:
双方在进行TCP通信时可以一次向对方发送多条数据,这样可以将等待多个响应的时间重叠起来,进而提高数据通信的效率。
需要注意的是,虽然双方在进行TCP通信时可以一次向对方发送大量的报文,但不能将自己发送缓冲区当中的数据全部打包发送给对端,在发送数据时还要考虑对方的接收能力。
滑动窗口:
发送方可以一次发送多个报文给对方,此时也就意味着发送出去的这部分报文当中有相当一部分数据是暂时没有收到应答的。
其实可以将发送缓冲区当中的数据分为三部分:
• 滑动窗口左侧表示已经发送并且已经收到ACK的数据。
• 滑动窗口内表示已经发送还但没有收到ACK的数据。
• 滑动窗口右侧表示还没有发送的数据。
而滑动窗口描述的就是,发送方不用等待ACK一次所能发送的数据最大量。滑动窗口存在的最大意义就是可以提高发送数据的效率:
• 滑动窗口的大小等于对方窗口大小与自身拥塞窗口大小的较小值,因为发送数据时不仅要考虑对方的接收能力,还要考虑当前网络的状况。
• 我们这里先不考虑拥塞窗口,并且假设对方的窗口大小一直固定为4000,此时发送方不用等待ACK,一次所能发送的数据就是4000字节,因此滑动窗口的大小就是4000字节。(四个段)
• 现在连续发送1001-2000、2001-3000、3001-4000、4001-5000这四个段的时候,不需要等待任何ACK,可以直接进行发送。
• 当收到对方响应的确认序号为2001时,说明1001-2000这个数据段已经被对方收到了,此时该数据段应该被纳入发送缓冲区当中的第一部分,而由于我们假设对方的窗口大小一直是4000,因此滑动窗口现在可以向右移动,继续发送5001-6000的数据段,以此类推。
• 滑动窗口越大,则网络的吞吐率越高,同时也说明对方的接收能力很强。当发送方发送出去的数据段陆陆续续收到对应的ACK时,就可以将收到ACK的数据段归置到滑动窗口的左侧,并根据当前滑动窗口的大小来决定,是否需要将滑动窗口右侧的数据归置到滑动窗口当中。
TCP的重传机制要求暂时保存发出但未收到确认的数据,而这部分数据实际就位于滑动窗口当中,只有滑动窗口左侧的数据才是可以被覆盖或删除的,因为这部分数据才是发送并被对方可靠的收到了,所以滑动窗口除了限定不收到ACK而可以直接发送的数据之外,滑动窗口也可以支持TCP的重传机制。
问题1:滑动窗口一定会整体右移吗?
答:滑动窗口不一定会整体右移的,以刚才的例子为例,假设对方已经收到了1001-2000的数据段并进行了响应,但对方上层一直不从接收缓冲区当中读取数据,此时当对方收到1001-2000的数据段时,对方的窗口大小就由4000变为了3000。
当发送端收到对方的响应序号为2001时,就会将1001-2000的数据段归置到滑动窗口的左侧,但此时由于对方的接收能力变为了3000,而当1001-2000的数据段归置到滑动窗口的左侧后,滑动窗口的大小刚好就是3000,因此滑动窗口的右侧不能继续向右进行扩展。
因此滑动窗口在向右移动的过程中并不一定是整体右移的,因为对方接收能力可能不断在变化,从而滑动窗口也会随之不断变宽或者变窄。问题2:如何实现滑动窗口?
答:TCP接收和发送缓冲区都看作一个字符数组,而滑动窗口实际就可以看作是两个指针限定的一个范围,比如我们用start指向滑动窗口的左侧,end指向的是滑动窗口的右侧,此时在 start和end区间范围内的就可以叫做滑动窗口。
当发送端收到对方的响应时,如果响应当中的确认序号为x,窗口大小为win,此时就可以将start更新为 x,而将end更新为start+win。
注:TCP的发送缓冲区其实是被设计成为环状结构的,因此滑动窗口的start和end不存在越界的情况。
丢包问题:
当发送端一次发送多个报文数据时,此时的丢包情况也可以分为两种。
情况一: 数据包已经抵达,ACK丢包。
在发送端连续发送多个报文数据时,部分ACK丢包并不要紧,此时可以通过后续的ACK进行确认。
比如图中2001-3000和4001-5000的数据包对应的ACK丢失了,但只要发送端收到了最后5001-6000数据包的响应,此时发送端也就知道2001-3000和4001-5000的数据包实际上被接收端收到了的,因为如果接收方没有收到2001-3000和4001-5000的数据包是设置确认序号为6001的,确认序号为6001的含义就是序号为1-6000的字节数据我都收到了,你下一次应该从序号为6001的字节数据开始发送。
情况二: 数据包丢了。
• 当1001-2000的数据包丢失后,发送端会一直收到确认序号为1001的响应报文,就是在提醒发送端“下一次应该从序号为1001的字节数据开始发送”。
• 如果发送端连续收到三次确认序号为1001的响应报文,此时就会将1001-2000的数据包重新进行发送。
• 这个时候接收端收到了1001数据包之后,再次返回的ACK就是7001响应报文了,因为2001 - 7000数据包接收端其实之前就已经收到了,被放到了接收端操作系统内核的接收缓冲区中。这种机制被称为“高速重发控制”,也叫做“快重传”。
需要注意的是,快重传需要在大量的数据重传和个别的数据重传之间做平衡,实际这个例子当中发送端并不知道是1001-2000这个数据包丢了,当发送端重复收到确认序号为1001的响应报文时,理论上发送端应该将1001-7000的数据全部进行重传,但这样可能会导致大量数据被重复传送,所以发送端可以尝试先把1001-2000的数据包进行重发,然后根据重发后的得到的确认序号继续决定是否需要重发其它数据包。
问题:滑动窗口中的数据一定都没有被对方收到吗?
答:滑动窗口当中的数据是可以暂时不用收到对方确认的数据,而不是说滑动窗口当中的数据一定都没有被对方收到,滑动窗口当中可能有一部分数据已经被对方收到了,但可能因为滑动窗口内靠近滑动窗口左侧的一部分数据,在传输过程中出现了丢包等情况,导致后面已经被对方收到的数据得不到响应。
例如图中的1001-2000的数据包如果在传输过程中丢包了,此时虽然2001-5000的数据都被对方收到了,此时对方发来的确认序号也只能是1001,当发送端补发了1001-2000的数据包后,对方发来的确认序号就会变为5001,此时发送缓冲区当中1001-5000的数据也会立马被归置到滑动窗口的左侧。
快重传 VS 超时重传:
• 快重传是能够快速进行数据的重发,当发送端连续收到三次相同的应答时就会触发快重传,而不像超时重传一样需要通过设置重传定时器,在固定的时间后才会进行重传。
• 虽然快重传能够快速判定数据包丢失,但快重传并不能完全取待超时重传,因为有时数据包丢失后可能并没有收到对方三次重复的应答,此时快重传机制就触发不了,而只能进行超时重传。
• 因此快重传虽然是一个效率上的提升,但超时重传却是所有重传机制的保底策略,也是必不可少的。
3.8.拥塞控制
问题1:为什么会有拥塞控制?
答:两个主机在进行TCP通信的过程中,出现个别数据包丢包的情况是很正常的,此时可以通过快重传或超时重发对数据包进行补发。但如果双方在通信时出现了大量丢包,此时就不能认为是正常现象了。
TCP不仅考虑了通信双端主机的问题,同时也考虑了网络的问题。
• 流量控制:考虑的是对端接收缓冲区的接收能力,进而控制发送方发送数据的速度,避免对端接收缓冲区溢出。
• 滑动窗口:考虑的是发送端不用等待ACK一次所能发送的数据最大量,进而提高发送端发送数据的效率。
• 拥塞窗口:考虑的是双方通信时网络的问题,如果发送的数据超过了拥塞窗口的大小就可能会引起网络拥塞。
双方网络通信时出现少量的丢包TCP是允许的,但一旦出现大量的丢包,此时量变引起质变,这件事情的性质就变了,此时TCP就不再推测是双方接收和发送数据的问题,而判断是双方通信信道网络出现了拥塞问题。问题2:如何解决网络拥塞问题?
答:网络出现大面积瘫痪时,通信双方作为网络当中两台小小的主机,看似并不能为此做些什么,但“雪崩的时候没有一片雪花是无辜的”,网络出现问题一定是网络中大部分主机共同作用的结果。
• 如果网络中的主机在同一时间节点都大量向网络当中塞数据,此时位于网络中某些关键节点的路由器下就可能排了很长的报文,最终导致报文无法在超时时间内到达对端主机,此时也就导致了丢包问题。
• 当网络出现拥塞问题时,通信双方虽然不能提出特别有效的解决方案,但双方主机可以做到不加重网络的负担。
• 双方通信时如果出现大量丢包,不应该立即将这些报文进行重传,而应该少发数据甚至不发数据,等待网络状况恢复后双方再慢慢恢复数据的传输速率。
需要注意的是,网络拥塞时影响的不只是一台主机,而几乎是该网络当中的所有主机,此时所有使用TCP传输控制协议的主机都会执行拥塞避免算法。因此拥塞控制看似只是谈论的一台主机上的通信策略,实际这个策略是所有主机在网络崩溃后都会遵守的策略。一旦出现网络拥塞,该网络当中的所有主机都会受到影响,此时所有主机都要执行拥塞避免,这样才能有效缓解网络拥塞问题。通过这样的方式就能保证雪崩不会发生,或雪崩发生后可以尽快恢复。
拥塞控制:
虽然滑动窗口能够高效可靠的发送大量的数据,但如果在刚开始阶段就发送大量的数据,就可能会引发某些问题。因为网络上有很多的计算机,有可能当前的网络状态就已经比较拥塞了,因此在不清楚当前网络状态的情况下,贸然发送大量的数据,就可能会引起网络拥塞问题。
因此TCP引入了慢启动机制,在刚开始通信时先发少量的数据探探路,摸清当前的网络拥堵状态,再决定按照多大的速度传输数据。
• TCP除了有窗口大小和滑动窗口的概念以外,还有一个窗口叫做拥塞窗口。拥塞窗口是可能引起网络拥塞的阈值,如果一次发送的数据超过了拥塞窗口的大小就可能会引起网络拥塞。
• 刚开始发送数据的时候拥塞窗口大小定义以为1,每收到一个ACK应答,拥塞窗口的值就为当前拥塞窗口值的二倍。
• 每次发送数据包的时候,将拥塞窗口和接收端主机反馈的窗口大小做比较,取较小的值作为实际发送数据的窗口大小,即滑动窗口的大小。但指数级增长是非常快的,因此“慢启动”实际只是初始时比较慢,但越往后增长的越快。如果拥塞窗口的值一直以指数的方式进行增长,此时就可能在短时间内再次导致网络出现拥塞。• 为了避免短时间内再次导致网络拥塞,因此不能一直让拥塞窗口按指数级的方式进行增长。
• 此时就引入了慢启动的阈值,当拥塞窗口的大小超过这个阈值时,就不再按指数的方式增长,而按线性的方式增长。
• 当TCP刚开始启动的时候,慢启动阈值设置为对方窗口大小的最大值。
• 在每次超时重发的时候,慢启动阈值会变成当前拥塞窗口的一半,同时拥塞窗口的值被重新置为1,如此循环下去。
如下图:图示说明:
• 指数增长。刚开始进行TCP通信时拥塞窗口的值为1,并不断按指数的方式进行增长。
• 加法增大。慢启动的阈值初始时为对方窗口大小的最大值,图中慢启动阈值的初始值为16,因此当拥塞窗口的值增大到16时就不再按指数形式增长了,而变成了的线性增长。
• 乘法减小。拥塞窗口在线性增长的过程中,在增大到24时如果发生了网络拥塞,此时慢启动的阈值将变为当前拥塞窗口的一半,也就是12,并且拥塞窗口的值被重新设置为1,所以下一次拥塞窗口由指数增长变为线性增长时拥塞窗口的值应该是12。
主机在进行网络通信时,实际就是在不断进行指数增长、加法增大和乘法减小。需要注意的是,不是所有的主机都是同时在进行指数增长、加法增大和乘法减小的。每台主机认为拥塞窗口的大小不一定是一样的,即便是同区域的两台主机在同一时刻认为拥塞窗口的大小也不一定是完全相同的。因此在同一时刻,可能一部分主机正在进行正常通信,而另一部分主机可能已经发生网络拥塞了。
问题:为什么拥塞窗口在低于慢启动的阈值时,要按指数级的方式进行增长?
答:指数增长前期慢,意味着前期可以发送少量的数据,探测网络情况。指数增长速度快,如果网络出现阻塞,可以尽快恢复网络通信的正常速度。
3.9.延迟应答
如果接收数据的主机收到数据后立即进行ACK应答,此时返回的窗口可能比较小。
• 假设对方接收端缓冲区剩余空间大小为1M,对方一次收到500K的数据后,如果立即进行ACK应答,此时返回的窗口就是500K。
• 但实际接收端处理数据的速度很快,10ms之内就将接收缓冲区中500K的数据消费掉了。
• 在这种情况下,接收端处理还远没有达到自己的极限,即使窗口再放大一些,也能处理过来。
• 如果接收端稍微等一会再进行ACK应答,比如等待200ms再应答,那么这时返回的窗口大小就是1M。
需要注意的是,延迟应答的目的不是为了保证可靠性,而是留出一点时间让接收缓冲区中的数据尽可能被上层应用层消费掉,此时在进行ACK响应的时候报告的窗口大小就可以更大,从而增大网络吞吐量,进而提高数据的传输效率。此外,不是所有的数据包都可以延迟应答。
• 数量限制:每个N个包就应答一次。
• 时间限制:超过最大延迟时间就应答一次(这个时间不会导致误超时重传)。
延迟应答具体的数量和超时时间,依操作系统不同也有差异,一般N取2,超时时间取200ms。
3.10.捎带应答
捎带应答其实是TCP通信时最常规的一种方式,就好比主机A给主机B发送了一条消息,当主机B收到这条消息后需要对其进行ACK应答,但如果主机B此时正好也要给主机A发生消息,此时这个ACK就可以搭顺风车,而不用单独发送一个ACK应答,此时主机B发送的这个报文既发送了数据,又完成了对收到数据的响应,这就叫做捎带应答。
捎带应答最直观的角度实际也是发送数据的效率,此时双方通信时就可以不用再发送单纯的确认报文了。
此外,由于捎带应答的报文携带了有效数据,因此对方收到该报文后会对其进行响应,当收到这个响应报文时不仅能够确保发送的数据被对方可靠的收到了,同时也能确保捎带的ACK应答也被对方可靠的收到了。
3.11.面向字节流
当创建一个TCP的socket时,同时在内核中会创建一个发送缓冲区和一个接收缓冲区。
• 调用write函数就可以将数据写入发送缓冲区中,此时write函数就可以进行返回了,接下来发送缓冲区当中的数据就是由TCP自行通过网卡进行发送的。
• 如果发送的字节数太长,TCP会将其拆分成多个数据包发出。如果发送的字节数太短,TCP可能会先将其留在发送缓冲区当中,等到合适的时机再进行发送。
• 接收数据的时候,数据也是从网卡驱动程序到达内核的接收缓冲区,可以通过调用read函数来读取接收缓冲区当中的数据。
• 而调用read函数读取接收缓冲区中的数据时,也可以按任意字节数进行读取。
由于缓冲区的存在,TCP程序的读和写不需要一一匹配,例如:• 写100个字节数据时,可以调用一次write写100字节,也可以调用100次write,每次写一个字节。
• 读100个字节数据时,也完全不需要考虑写的时候是怎么写的,既可以一次read100个字节,也可以一次read一个字节,重复100次。
实际对于TCP来说,它并不关心发送缓冲区当中的是什么数据,在TCP看来这些只是一个个的字节数据,它的任务就是将这些数据准确无误的发送到对方的接收缓冲区当中就行了,而至于如何解释这些数据完全由上层应用来决定,这就叫做面向字节流。另一方面,TCP的一个连接,既有发送缓冲区,也有接收缓冲区,那么对于这一个连接,既可以读数据,也可以写数据,这个概念叫做全双工。
3.12.粘包问题
什么是粘包:
• 首先要明确,粘包问题中的“包”,是指的应用层的数据包。
• 在TCP的协议头中,没有如同UDP一样的“报文长度”这样的字段。
• 站在传输层的角度,TCP是一个一个报文过来的,按照序号排好序放在缓冲区中。
• 但站在应用层的角度,看到的只是一串连续的字节数据。
• 那么应用程序看到了这么一连串的字节数据,就不知道从哪个部分开始到哪个部分,是一个完整的应用层数据包。注:TCP不关心数据格式,所以TCP报头中不需要有效载荷长度的字段。
如何解决粘包问题:
要解决粘包问题,本质就是要明确报文和报文之间的边界。
• 对于定长的包,保证每次都按固定大小读取即可。
• 对于变长的包,可以在自定协议报头的位置,约定一个包总长度的字段,从而就知道了包的结束位置。比如HTTP报头当中就包含Content-Length属性,表示正文的长度。
• 对于变长的包,还可以在包和包之间使用明确的分隔符。因为应用层协议是程序员自己来定的,只要保证分隔符不和正文冲突即可。
UDP是否存在粘包问题:• 对于UDP,如果还没有上层交付数据,UDP的报文长度仍然在,同时,UDP是一个一个把数据交付给应用层的,有很明确的数据边界。
• 站在应用层的角度,使用UDP的时候,要么收到完整的UDP报文,要么不收,不会出现“半个”的情况。
因此UDP是不存在粘包问题的,根本原因就是UDP报头当中的16位UDP长度记录的UDP报文的长度,因此UDP在底层的时候就把报文和报文之间的边界明确了,而TCP存在粘包问题就是因为TCP是面向字节流的,TCP报文之间没有明确的边界。注:因为TCP存在粘包问题,而UDP不存在粘包问题,所以我们在写应用层代码时,UDP只需要考虑序列化和反序列化问题,而TCP除了要考虑序列化和反序列化问题,还需要在协议定制时考虑如何能保证读取到完整报文的问题。
3.13.TCP异常情况
进程终止:
当客户端正常访问服务器时,如果客户端进程突然崩溃了,此时建立好的连接会怎么样?
当一个进程退出时,该进程曾经打开的文件描述符都会自动关闭,因此当客户端进程退出时,相当于自动调用了close函数关闭了对应的文件描述符,此时双方操作系统在底层会正常完成四次挥手,然后释放对应的连接资源。也就是说,进程终止时会释放文件描述符,TCP底层仍然可以发送FIN,和进程正常退出没有区别。
机器重启:
当客户端正常访问服务器时,如果将客户端主机重启,此时建立好的连接会怎么样?
当我们选择重启主机时,操作系统会先杀掉所有进程然后再进行关机重启,因此机器重启和进程终止的情况是一样的,此时双方操作系统也会正常完成四次挥手,然后释放对应的连接资源。
机器掉电/网线断开:
当客户端正常访问服务器时,如果将客户端突然掉线了,此时建立好的连接会怎么样?
当客户端掉线后,服务器端在短时间内无法知道客户端掉线了,因此在服务器端会维持与客户端建立的连接,但这个连接也不会一直维持,因为TCP是有保活策略的。
• 服务器会定期检测客户端的存在状况,检查对方是否在线,如果连续多次都没有收到ACK应答,此时服务器就会关闭这条连接。
• 此外,客户端也可能会定期向服务器“报平安”,如果服务器长时间没有收到客户端的消息,此时服务器也会将对应的连接关闭。
其中服务器定期询问客户端的存在状态的做法,叫做基于保活定时器的一种心跳机制,是由TCP实现的。此外,应用层的某些协议,也有一些类似的检测机制,例如基于长连接的HTTP,也会定期检测对方的存在状态。
3.14.TCP小结
TCP协议这么复杂就是因为TCP既要保证可靠性,同时又尽可能的提高性能。
可靠性 提高性能 • 检验和
• 序列号(按序到达)
• 确认应答
• 超时重传
• 连接管理
• 流量控制
• 拥塞控制
• 滑动窗口
• 快速重传
• 延迟应答
• 捎带应答
需要注意的是,TCP的这些机制有些能够通过TCP报头体现出来的,但还有一些是通过代码逻辑体现出来的。
TCP定时器:
TCP当中还设置了各种定时器。
• 重传定时器:为了控制丢失的报文段或丢弃的报文段,也就是对报文段确认的等待时间。
• 重传定时器:为了控制丢失的报文段或丢弃的报文段,也就是对报文段确认的等待时间。
• 保活定时器:为了检查空闲连接的存在状态,也就是向对方发送探查报文的时间间隔。
• TIME_WAIT定时器:双方在四次挥手后,主动断开连接的一方需要等待的时长。
理解传输控制协议:
TCP的各种机制实际都没有谈及数据真正的发送,这些都叫做传输数据的策略。TCP协议是在网络数据传输当中做决策的,它提供的是理论支持,比如TCP要求当发出的报文在一段时间内收不到ACK应答就应该进行超时重传,而数据真正的发送实际是由底层的IP和MAC帧完成的。
TCP做决策和IP+MAC做执行,我们将它们统称为通信细节,它们最终的目的就是为了将数据传输到对端主机。而传输数据的目的是什么则是由应用层决定的(由应用层解释数据格式进而使用数据,因此应用层需要制定协议)。因此应用层决定的是通信的意义,而传输层及其往下的各层决定的是通信的方式。
3.15.基于TCP的应用层协议
常见的基于TCP的应用层协议如下:
• HTTP(超文本传输协议)。
• HTTPS(安全数据传输协议)。
• SSH(安全外壳协议)。
• Telnet(远程终端协议)。
• FTP(文件传输协议)。
• SMTP(电子邮件传输协议)。
当然,也包括你自己写TCP程序时自定义的应用层协议。