浅谈网络通信中的流量整形

前言

在前面的《浅谈网络通信中的 ACK、NACK 和 REX》一文中，我们知道了网络通信中的丢包重传的相关理论和方法，既在网络发生丢包的情况下的补救措施，本文则往前进一步，介绍下如何通过流量整形技术，尽可能地避免网络发生丢包。

举个栗子

下面我们就以高速路堵车为例，举例说明：

堵车的原因有很多种，我们先聊聊图中的这种：假设某公路是 3 股道，也就是说，每时刻能同时进入该公路的车辆并行是 3 辆，那么，如果某一时间段，同时试图并行进入该公路的车辆超过 3 辆，则必然会出现由于公路的承载能力不够带来的 “堵车”。（如上图所示）

网络传输也类似，假设网络带宽是 2Mbps，如果在每秒硬塞给网络的数据包 > 2Mbps，网络通道也会受不了。不过它的表现形式与公路不一样的地方在于：超出网络承载能力的数据包，可能会被网卡/路由器/交换机给丢掉，即我们常说的丢包（loss）。

对于网络传输而言，丢包带来的成本是很高的，因为一些重要的数据包丢失后，是需要 “重传” 的，而 “重传” 太多，来回反复会增加了数据传输的延时，也会进一步恶化网络负荷，最终极大地降低了传输的效率。

因此，我们需要从根本上尽可能地减少 “丢包” 的产生，简单来说，就是控制单位时间内送入网络传输的数据量，尽量平滑且不要超过网络带宽承载能力。

控制对象

既然要控制送入网络传输的数据量，就得先找到数据是怎么产生的，又是在通过哪个环节送入到网络的。

如图，音视频传输的数据 “源头” ，无外乎就是本地的音视频文件、麦克风采集的音频流、摄像头采集的视频流、桌面采集到的屏幕流等，它们经过编码压缩和封包处理，然后经过 “发送模块” 送入到网络中。

设置和修改采集的配置（如：分辨率、帧率）、编码器的配置（如：GOP 间隔、码率）等，是可以减少实时产生的总数据量的，但是数据的产生并不是 “平滑” 的，特别是视频流/屏幕流，画面的突变，会带来数据量的突变，因此，送入到 “发送模块” 的数据量，也并不会总是 “平滑” 的。

从上面的 “堵车” 理论，为了避免丢包，我们需要尽可能地将数据 “平滑” 地送入网络中，因此，“流量整形” 在此派上了用场，它作用于 “发送模块”，目标是调整数据传输的平均速率，防止突发性的流量暴增导致网络拥塞和丢包。

流量整形

如何平滑输入和输出，一个最容易想到方法，就是增加 “缓冲”，让输入的数据先进入 “缓冲区” ，然后用恒定的 “速率” 从缓冲区取数据输出。这种方法称之为 “漏桶算法”。

• 漏桶算法（Leaky Bucket）
  
  如图，使用一个 packet buffer（漏桶），把所有输入的 packet 缓存起来。

设置一个目标的输出码率（比如：3Mbps），固定的时间间隔（比如：10ms），读取 packet buffer（漏桶）中固定数量的 packet（如：3Mbit * 10ms / 1000 = 0.03Mbit）进行网络发送。注：如果某时刻缓冲区没有数据，则不用发送了。

• 漏桶算法的缺点
  漏桶算法有一个明显的缺点，因为非常精准的网络带宽无法预判，那么假设你设置了一个比较小的目标码率（如 3Mbps），可能小于真实的网络带宽（如 10Mbps），这时，如果业务上产生了一些突发的流量，真实的网络带宽本可以允许更快地完成发送，但经过了漏桶算法后，依然会以恒定的目标码率慢慢地发送。所以说，漏桶算法无法充分用满网络资源来降低传输延时。针对这种问题可以提供如下俩种解决方案。

  1. 先慢启动，然后将漏桶的目标码率持续上探，直到出现网络恶化（如：丢包增多）后再降下来，如此反复，维持一个动态平衡，使得漏桶算法的目标码率持续无限逼近网络的承载能力
  2. 改进漏桶算法，允许其在执行过程中，偶尔出现一些超过预设平均值的突发传输能力，用于应对业务上的流量突发，即：令牌桶算法

• 令牌桶算法(Token Bucket)
  令牌桶算法在漏桶算法基础上，提出一个改进，就是新增了 “令牌” 和 “令牌桶”。
  

“令牌” 代表着允许传输的字节数量，我们以固定的时间间隔（比如：10ms）产生并送入 “令牌” 到 “令牌桶”，“令牌桶” 设置一个 “令牌” 数量上限（满了没有消耗就丢掉新增的令牌），因此，一次传输最大的允许突增的字节数 = M x B

发送模块，以固定 t ms 的时间间隔去读取 packet buffer，读取的字节数 X 必须接近但小于等于当前 “令牌桶” 中允许传输的字节数（即：“令牌桶” 里剩余的 “令牌个数” x B）。并且，传输完了多少字节，则删除掉 “令牌桶” 里对应个数的 “令牌”。

这种方法解决突发流量的关键点在于 “令牌” 是可以积累的，可能缓冲区在前 N ms 都没有突发的数据，这时，“令牌” 依然在产生，并且被积累在了 “令牌桶”，一旦缓冲区突增了大量的数据，则可以在短时间内快速消费掉。当然，为了防止突破网络承载能力导致丢包，“令牌桶” 的最大 “令牌数量” 也相应做了一些限制。

总结：

关于网络通信中的流量整形就简单介绍到这里了，“漏桶算法” 和 “令牌桶算法” 其实在很多的地方都有使用，比如服务端的限流降级，比如音视频的平滑丢帧等等，当然，也还有一些基于这些算法的各种改进策略，这里就不一一介绍了。下面推荐几个讲的比较好的博主给大家，希望感兴趣的同学慢慢深入研究

• 流量控制算法——漏桶算法和令牌桶算法（力推）
• 高并发系统限流-漏桶算法和令牌桶算法（力推）