提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档
文章目录
前言
本文先介绍TCP中实现可靠传输的方式, 引出KCP是如何在应用层实现UDP可靠性传输
本专栏知识点是通过零声教育的线上课学习,进行梳理总结写下文章,对c/c++linux课程感兴趣的读者,可以点击链接 C/C++后台高级服务器课程介绍 详细查看课程的服务。
一、如何做到可靠性传输?
1.ACK机制
2.重传机制
3.序号机制
4.重排机制
5.窗口机制 流量控制 带宽有限
ARQ协议
ARQ协议: 即自动重传请求,是传输层的错误纠正协议之一,它通过使用确认和超时两个机制,保证可靠信息传输
主要有3种模式
1. 即停等待:
2. 回退N帧:
3. 选择性重传:
RTT和RTO
RTO: 重传超时时间, RTO > RTT 时重传
RTT: 往返时延, 计算方式大概是 比如这个 SERVER A 时候发送包 A ,包A的头部携带时间戳, SERVER B 回传包A时会在头部带包A的时间戳(让SERVER A知道这个包是自己在什么时候发的, 从发包到现在接收到回传经过了多少时间 RTT = 当前时间戳 - 发包时间戳),
流量控制
为什么需要流量控制
双方在通信的时候, 发送方的速率与接收方的速率不一定相等, 如果发送方的发送速率太快, 接收方处理不过来, 此时接收方只能把处理不过来的数据存在缓存区里 (失序的数据包也会被存放在缓存区里)接收缓存。
如果缓存区满了发送方还在发送数据, 接收方只能把收到的数据包丢弃(大量的丢包会极大浪费网络资源),因此,需要控制发送方的发送速率, 让接收方与发送方处于一种平衡。
流量控制-如何控制
接收方每次收到数据包,可以在发送确定报文(ACK)的时候,在报文头部通过window Size 告诉发送方自己的缓冲区还剩余多少空闲区(接收窗口大小)
发送方收到后, 便会调整自己的发送速率(发送窗口大小),当发送方收到接收窗口的大小为0时, 发送方就会停止发送数据, 防止丢包
对端接收窗口忙了停止发送后, 发送方何时再发送数据
接收方主动通知: 当接收方处理好数据,接受窗口 win > 0 时,接收方发个通知报文去通知发送方,告诉他可以继续发送数据了。当发送方收到窗口大于0的报文时,就继续发送数据
窗口探测: 当发送方收到接受窗口 win = 0 时,这时发送方停止发送报文,并且同时开启一个定时器,每隔一段时间就发个测试报文去询问接收方,打听是否可以继续发送数据了,如果可以,接收方就告诉他此时接受窗口的大小;如果接受窗口大小还是为0,则发送方再次刷新启动定时器
通信的双方都拥有两个滑动窗口,一个用于接受数据,称之为接收窗口;一个用于发送数据,称之为拥塞窗口(即发送窗口)。指出接受窗口大小的通知我们称之为 窗口通告
拥塞控制
流量控制只关注发送方跟接受方自身的状况(接受方内核readbuff 大小),而没考虑到整个网络的通信状况(包体的往返时延 RTT),于是需要拥塞处理,让发送方与接收方出于一个更好的速率平衡。
拥塞处理主要涉及到下面这几个算法
- 慢启动(Slow Start): 每个TCP 连接都有一个拥塞(发送)窗口的限制,最初这个值很小, 随着时间的推移,每次发送的数据量如果在不丢包的情况下慢慢递增(逐渐测试放大发送包体的数据量),这种机制就是 慢启动
计算方式:
cwnd 初始值较小时,每收到一个 ACK,cwnd + 1,每经过一个 RTT,cwnd 变为之前的两倍
- 拥塞避免(Congestion Avoidance): 当拥塞窗口通过慢启动机制到达一个阀值时,拥塞窗口进入拥塞避免阶段(防止发送窗口无限扩张), 此时每一个 RTT, 拥塞窗口增加一个 MSS大小(1),直到检测到拥塞为止。
- 快速重传(Fast Retransmit): 当接受端收到一个不按序到达的数据时, 立即回传一个重复的ACK (比如此时 发送端 应该发送1003到接受端, 但是却发了一个1004, 接受端立马回了一个1004的ACK给发送端, 那么当发送端收到 3个或以上重复的ACK, 就意识到之前发的包(1003)可能丢了, 于是就可以马上进行重传 不用等超时重传)
- 快速恢复(Fast Recovery): 当收到三次重复 ACK 时,进入快速恢复阶段。解释为网络轻度拥塞。拥塞阀值降低到 发送窗口的一半,拥塞窗口 设置成 拥塞阀值 并且线性增加(每次加 1)
为了实现上面的算法,TCP 的每条连接都有两个核心状态值:
- 拥塞窗口(Congestion Window,cwnd): 拥塞窗口是发送端的限制, 是发送端还未收到对端ACK之前还能发送的数据。 假设此时已知对端的接受窗口大小是4KB,这时发给了对端 2KB,在未收到对端的ACK确认包时,这时自己还能发送给对方的数据最大应该是 4K-2K= 2KB(实际应该小于2KB, 慢启动的机制 让 拥塞窗口 逐渐变大)。
- 发送窗口大小 = 「接收端接收窗口大小(rwnd)」 与 「发送端自己拥塞窗口大小(cwnd)」 两者的最小值
- 慢启动阈值(Slow Start Threshold,ssthresh): 用于控制慢启动拥塞窗口的增长, 当拥塞窗口小于阀值时按指数级增长(慢启动)。 当拥塞窗口大于阀值时,触发拥塞避免,让拥塞窗口按线性增长
二、可靠性UDP-KCP
特性: 面向报文
recvform()读数据时需要把数据一次读完,否则会丢失
mtu: 建议发送1400字节
如果要同时监听多个端口, 可以考虑使用epoll方式管理(send recv)
如果只有单个端口,采用 recvfrom
1.UDP网络编程
UDP 编程 C++ 代码如下(示例):
2.KCP
UDP 面相报文发送消息,简单说协议本身只管发而不管对端收没收到消息。那要如何实现UDP的可靠性传输,那就是把 TCP 的可靠机制移植过来在应用层中实现。目前成熟的可靠性传输算法有KCP, QUIC等。
重传时间(RTO)
TCP超时计算是RTO*2, 这样连续丢三次包就变成RTOx8了,十分恐怖,而KCP启动快速模式后不x2,只是x1.5(实验证明1.5这个值相对比较好),提高了传输速度。
选择性重传
快速重传
延迟ACK
TCP为了节省带宽而采用延迟ACK机制, 不是每个数据包都对应一个 ACK 包,因为可以合并确认。也不是接收端收到数据以后必须立刻马上回复确认包。 KCP 是否延迟确认可以通过设置调节
UNA+ACK
非退让流控
KCP源码流程图
kcp 调度器机制
应用层对KCP数据的收发主要关注 kcp_recv, kcp_send, 但是需要有一个kcp_update 循环loop 来处理接受到kcp的封包数据的解包回传确认包, 以及发包的数据封包等工作, 相当于是一个调度器
kcp 发送数据流程
KCP发送数据时需要发送 ikcp_send 发送数据, 这时KCP会把数据组装成 header+data的形式(可能进行分帧)发送到send_queue, send_buf(发送窗口) 从 send_queue 获取数据 通过 sendto 发送给对端, 在send_buf中缓存着 已发送 已发送待确认 未发送几种状态的数据, 假设收到对端的回传UNA=9, 9之前的数据会被从send_buf中移除
kcp 接收数据流程
1.把收到的数据放入rcv_buf 并排好序
2 数据放入rcv_queue
3 ikcp_recv 从recv_queue 读取组帧完成的数据(header 头部中的 frg字段, frg=0代表最后一个分片, 如果有切片(分帧), 切片的时候会设计好最大值)
KCP 头部解析
[0,3]conv:连接号。UDP是无连接的,conv用于表示来自于哪个 客户端。对连接的一种替代
[4]cmd:命令字。如,IKCP_CMD_ACK确认命令, IKCP_CMD_WASK接收窗口大小询问命令,IKCP_CMD_WINS接收 窗口大小告知命令,
[5]frg:分片,用户数据可能会被分成多个KCP包,发送出去
[6,7]wnd:接收窗口大小,发送方的发送窗口不能超过接收方给 出的数值
[8,11]ts:时间序列
[12,15]sn:序列号
[16,19]una:下一个可接收的序列号。其实就是确认号,收到 sn=10的包,una为11
[20,23]len:数据长度
data:用户数据,这一次发送的数据长度
cmd | 作用 |
IKCP_CMD_PUSH | 数据推送命令 |
IKCP_CMD_ACK | 确认命令 |
IKCP_CMD_WASK | 接收窗口大小询问命令(窗口探测) |
IKCP_CMD_WINS | 接收窗口大小告知命令(窗口通告) |