TCP协议
TCP全称为:传输控制协议,要对数据的传输进行一个详细的控制;
TCP协议段格式
- 源/目的 端口号:表示数据是从哪个进程来,到哪个进程去;
- 32位序号:序号是可靠传输的关键因素。TCP将要传输的每个字节都进行了编号,序号是本报文段的数据组的第一个字节的编号,序号可以保证传输信息的有效性。比如:一个报文段的序号为300,此报文段数据部分共有100个字节,则下一个报文段的序号为401
- 32位确认号:每一个ACK对应一个确认号,它指明下一个期待收到的字节序号,表明该序号之前的所有数据报已经正确无误的收到。确认号只有当ACK标致为1时才有效。比如建立连接时,SYN报文的ACK标致位为0
- 4位TCP报头长度:表示该TCP头部有多少个32位bit(有多少个4字节);所以TCP头部最大长度是15 * 4 = 60
- 6位标志位:
- URG:紧急指针是否有效
- ACK:确认号是否有效
- PSH:提示接收端应用程序立刻从TCP缓冲区把数据读走
- RST:对方要求重新建立连接;我们把鞋带RST标识的称为复位报文段
- SYN:请求建立连接;我们把鞋带SYN标识的称为同步报文段
- FIN:通知对方,本端要关闭了,我们称携带FIN标识的为结束报文段
- 16位窗口大小:如果发送方发送大量数据,接收方接收不过来,会导致大量数据丢失。然后接收方可以发送给发送消息让发送方发慢一点,这是流量控制。接收方将自己接收缓冲区剩余时间的大小告诉发送方叫做16位窗口大小。发送方可以根据窗口大小来适配发送的速度和大小,窗口大小最大是2的16次方,就是64kb,但也可以根据选项中的某些位置扩展,最大扩展为1G
- 16位校验和:发送端填充,CRC校验,接收端校验不通过,则认为数据有问题。此处的检验和不光包含TCP首部,也包含TCP数据部分
- 16位紧急指针:标识哪部分是紧急数据
- 40字节头部选项
确认应答(ACK)机制
接收端收到一条报文后,向发送端发送一条确认ACK,此ACK的作用就是告诉发送端,我已经成功的收到了你发送的消息,并且我希望你下一条收到的报文的序列号是多少。这个确认号就是期望的下一个报文的序号。
TCP将每个字节的数据都进行了编号。即为序列号
每一个ACK都带有对应的确认序列号,意思是告诉发送者,我们已经收到了哪些数据,下一个发送数据应该从哪里开始。如上图,主机A给主机B发送了1~1000的数据,ACK应答,携带了1001序列号,告诉主机A我已经成功收到了你发送的1~1000的数据,下次你就从1001开始发送数据。
每一个ACK都带有对应的确认序列号,意思是告诉发送者,我已经收到了哪些数据;下一次你从哪里开始发。
超时重传机制
- 主机A发送数据给主机B之后,可能因为网络拥堵等原因,数据无法到达主机B;
- 如果主机A在一个特定时间间隔内没有收到B发来的确认应答,就会进行重发;
但是,数据A未收到B发来的确认应答,也可能是因为ACK丢失了;
因此主机B会收到很多的重复数据。那么TCP协议需要能够识别出哪些包是重复的包,并且把重复的丢弃掉,这时候我们可以利用前面提到的16位序列号,就可以很容易的做到去重的效果。
超时的时间如何确定?
- 在理想的情况下,找到一个最小的时间,保证“确认应答一定能在这个时间内返回”
- 但是这个时间的长度长短,随着网络环境的不同,是有差异的
- 如果超时时间设的太长,会影响整体的重传速率
- 如果超时时间设的太短,有可能会频繁发送重复的包
TCP为了保证无论在任何环境下都能比较高性能的通信,因此会动态计算这个最大超时时间。
- Linux中,超时以500msm为一个单位进行控制,每次判定超时重发的超时时间都是500ms的整数倍
- 如果重发一次之后,仍然得不到应答,等待2 * 500ms进行重传,以此类推,以指数形式递增
-
累积到一定的重传次数,TCP认为网络或者对端主机出现异常,强制关闭连接。
连接管理机制
在正常情况下,TCP要经过三次握手建立连接,四次挥手断开连接。
后面单独展开说明
https://blog.csdn.net/Soldier49Zed/article/details/98196369
滑动窗口
前面所说的确认应答策略,对每一个发送的数据段,都要给一个ACK确认应答。收到ACK后再发送下一个数据段。这样做有一个比较大的缺点,就是性能较差。尤其是数据往返的时间较长的时候。
既然这样一发一收的方式性能较低,那么我们一次发送多条数据,就可以大大的提高性能(其实就是将多个段的等待时间重叠在一起了)
- 窗口大小值得是无需等待确认应答而可以继续发送数据的最大值。上图的窗口大小就是4000个字节(四个段);
- 发送前四个段的时候,不需要等待任何ACK,直接发送;
- 收到第一个ACK后,滑动窗口向后移动,继续发送第五个段的数据,以此类推;
- 操作系统内核为了维护这个滑动窗口,需要开辟发送缓冲区来记录当前还有哪些数据没有应答;只有确认应答过的数据,才能从缓冲区删掉;
- 窗口越大,则网络的吞吐率就越高
如果数据出现了丢包,如何进行重传?这里分两种情况讨论:
情况一:
这种情况下,部分ACK丢了并不要紧,因为可以通过后续的ACK进行确认;假设发送方发送1-1000的数据,接收方收到返回确认ACK,但是返回的ACK丢失了,另一边发送1001-2000收到的确认ACK 2001,就可以认为1-1000数据接收成功
情况二:数据包就直接丢了
- 当某一段报文段丢失之后,发送端会一直收到1001这样的ACK,就像是在提醒发送端“我想要的是1001一样”
- 如果发送端主机连续三次收到了同样一个“1001”这样的应答,就会将队对应的数据1001-2000重新发送;
- 这个时候接收端收到了1001之后,再次返回的ACK就是7001了(因为2001-7000)接收端其实之前就已经收到了,被放到了接收端操作系统内核的接收缓冲区中。
这种机制被称为“高速重发控制”(也叫“快重传”)
快重传要求接收方在收到一个失序的报文段后就立即发出重复确认(为的是使发送方早点知道有报文段没有到达对方)而不要等到主机发送数据时捎带确认。快重传算法规定,发送方只要一连收到三个重复确认就应当立即重传对方尚未收到的报文段,而不必继续等待设置的重传计时器时间到期。由于不需要等待设置的重传计时器到期,能尽早重传未被确认的报文段,能提高整个网络的吞吐量。
流量控制
接收端处理数据的速度是有限的,如果发送端发的太快,导致接收端的缓冲区被打满,这个时候如果发送端继续发送,就会造成丢包,继而引起丢包重传等等一系列连锁反应。
因此TCP支持根据接收端的处理能力,来决定发送端的发送速度。这个机制就叫做流量控制
- 接收端将自己可以接收的缓冲区大小放入TCP首部中的“窗口大小”字段,通过ACK端通知发送端
- 窗口大小字段越大,说明网络的吞吐量越高
- 接收端一旦发现自己的缓冲区快满了,就会将窗口大小设置成一个更小的值通知给发送端
- 发送端接收到这个窗口之后就会减慢自己的发送速度
- 如果接收端缓冲区满了,就会将窗口设置为0;这时发送方不再发送数据,但是需要定期发送一个窗口探测数据段,使接收端把窗口大小告诉发送端
接收端如何把窗口大小告诉发送端呢?回忆我们的TCP首部中,有一个16位窗口字段,就是存放了窗口大小信息;那么问题来了,16位数字最大表示65535,,那么TCP窗口最大就是65535字节吗?
实际上,TCP首部40个字节选项中还包含了一个窗口扩大因子M,实际窗口大小是 窗口字段的值左移M位。
拥塞控制
虽然TCP有了滑动窗口这个大杀器,能够高效可靠的发送大量数据。但是如果在刚开始阶段就发送大量的数据,仍然可能引发问题
因为网络上有很多计算机。可能当前的网络状态就已经比较拥堵,在不清楚当前网络状态下,贸然发送大量的数据,是很有可能引起雪上加霜的。
TCP引入慢启动机制,先发送少量的数据,探探路,摸清当前的网络拥堵状态,再决定按照多大的速度传输数据。
- 此处引入了一个概念为拥塞窗口
- 发送开始的时候,定义拥塞窗口大小为1
- 每次收到一个ACK应答,拥塞窗口加1
- 每次发送数据包的时候,将拥塞窗口和接收端主机反馈的窗口大小做比较,取较小的值作为实际发送的窗口
像上面这样的拥塞窗口增大速度,是指数级别的,“慢启动”只是指初始时慢,但增长速度是非常快的
- 为了不增长的那么快,因此不能使用拥塞窗口单纯的加倍
- 此处引入一个叫做慢启动的阈值
- 当拥塞窗口超过这个阈值的时候,不能按照指数方式增长,而是按照线性方式增长
- 当TCP开始启动的时候,慢启动阈值等于窗口最大值
- 在每次超时重发的时候,慢启动阈值会变成原来的一半,同时拥塞窗口置回1
少量的丢包。我们仅仅是触发超时重传,大量的丢包,我们认为是网络拥塞
当TCP通信开始后,网络吞吐量会逐渐上升,随着网络发生拥堵,吞吐量会立刻下降
拥塞控制,归根结底是TCP协议尽可能快的把数据传输给对方,但是又要避免给网络造成太大压力的折中方案
延迟应答
如果接收数据的主机立刻返回ACK应答,这时候返回的窗口可能比较小
- 假设接收端缓冲区为1M,一次收到500k的数据,如果立刻应答返回的窗口就是500k
- 但实际上可能处理端处理的速度很快,10ms之内就把500k数据从缓冲区消费掉了
- 在这种情况下,接收端处理还远没有达到自己的极限,即使窗口再放大一些,也能处理过来
- 如果接收端稍等一会再应答,比如等待200ms再应答,那么这个时候返回的窗口大小就是1M
一定要记得,窗口越大,网络的吞吐量就越大,传输速率就越高,我们的目标是在保证网络不拥塞的情况下尽量提高传输效率。
那么所有的包都可以延迟应答吗?肯定也不是
- 数量限制:每隔N个包就应答一次
- 时间限制:超过最大延迟时间就应答依次
具体的数量和超时时间,依操作系统不同也有差异;一般N取2,超时时间取200ms
捎带应答
在延迟应答的基础上,很多情况下,客户端服务器在应用层也是“一发一收”的,意味着客户端给服务器说了“How are you”,服务器也会给客户端回一个“Fine,thank you”;
那么这个时候ACK就可以搭顺风车,和服务器回应的“Fine,thank you”一起回应给客户端
面向字节流
创建一个TCP的socket,同时在内核中创建一个发送缓冲区和一个接收缓冲区;
- 调用write,数据会先写入发送缓冲区中;
- 如果发送的字节数太长,会被拆分成多个TCP数据包发出;
- 如果发送的字节数太短,就会先在缓冲区里等待,等到缓冲区长度差不多了,或者其他合适的时机发送出去;
- 接收数据的时候,数据也是从网卡驱动程序到达内核的接收缓冲区;
- 然后应用程序可以调用read从接收缓冲区拿数据;
- 另一方面,TCP的一个连接,既有发送缓冲区,那么对于这一个连接,既可以读数据,也可以写数据。这个概念叫做全双工
由于缓冲区的存在,TCP程序的读和写不需要一一匹配,例如:
- 写100个字节数据时,可以调用一次write写100个字节,也可以调用100次write,每次写一个字节;
- 读100个字节数据时,。也完全不需要考虑写的时候是怎么写的,既可以一次read100个字节,也可以一次read一个字节,重复100次
粘包问题
- 粘包问题中的“包”是指的应用层的数据包
- 在TCP的协议头中,如果没有如同UDP一样的“报文长度”这样的字段,但是有一个序号这样的字段
- 站在传输层的角度,TCP是一个一个报文过来的。按照序号排好序放在缓冲区中;
- 站在应用层的角度看,看到的只是一串连续的字节数据;
- 那么应用程序看到了这么一连串的字节数据,就不知道从哪个部分开始到哪个部分,是一个完整的应用层数据包
那么如何避免粘包问题?——明确两个包之间的边界
- 对于定长的包,保证每次都按固定的大小读取即可;例如上面的Request结构,是固定大小的,那么就从缓冲区从头部开始按sizeof(Request)依次读取即可;
- 对于变长的包,可以在包头的位置,约定一个包总长度的字段,从而就知道了包的结束位置;
- 对于变长的包,还可以在包和包之间使用更明确的分隔符
对于UDP协议来说,是否也存在“粘包问题”?
- 对于UDP,如果还没有上层交付数据,UDP的报文长度仍然在。同时,UDP是一个一个把数据交付给应用层,就有很明确的数据边界。
- 站在应用层的角度,使用UDP的时候,要么收到完整的UDP报文,要么不收,不会出现“半个”的情况。
TCP异常情况
进程终止:进程终止会释放文件描述符,仍然可以发送FIN,和正常关闭没有什么区别。
机器重启:和进程终止的情况相同。
机器掉电/网线断开:接收端认为连接还在,一旦接收端有写入操作,接收端发现连接已经不再了,就会进行reset。即使没有写入操作,TCP自己也内置了一个保活定时器,会定期询问对方是否还在。如果对方不再了,也会把连接释放。
另外,应用层的某些协议,也有一些这样的检测机制。例如HTTP长连接中,也会定期检测对方的状态。例如QQ,在QQ断线后,也会 定期尝试重新连接。
TCP小结
为什么TCP这么复杂?
因为要保证可靠性的同时又尽可能地提高性能。
可靠性:
- 校验和
- 序列号(按序到达)
- 确认应答
- 超时重发
- 连接管理
- 流量控制
- 拥塞控制
提高性能:
- 滑动窗口
- 快速重传
- 延迟应答
- 捎带应答
其他:
- 定时器(超时重传定时器,保活定时器,TIME——WAIT定时器等)
基于TCP应用层协议
- HTTP
- HTTPS
- SSH
- Telnet
- FTP
- SMTP
TCP最主要的特点
- 面向连接的运输层协议
- 面向连接意味着两个使用 TCP的应用在交换数据前必须先建立一个 TCP 连接,在一个 TCP 连接中,仅有两方进行彼此通信,广播和多播不能用于 TCP
- 每一条 TCP 连接只能有两个端点(endpoint)
- 每一条 TCP 连接只能是点对点的(一对一)
- 提供可靠交付的服务
- 提供全双工通信
- 面向字节流
字节流服务:两个应用程序通过 TCP 连接,TCP 不在字节中插入记录标识符
TCP对字节流的内容不做任何解释,不知道传输的字节流数据是二进制数据还是 ASCII 字符或其他类型数据,对字节流的解释由TCP连接双方的应用层