BBR 与 AIMD 共存公平性探究

一个古已有之的结论：

• deep buffer 场景，bbr 相对 reno/cubic 等 aimd 有优势，侵占性强；
• shallow buffer 场景，aimd 有优势，bbr 带宽被挤占。

本文用实例分析 why 并给出 how。

先看 deep buffer 场景 bbr 单挑 aimd 双流的效果，下图是标准 bbr，被虐成经理：

下图是用 max(bw/delay) 替代 maxbw 后的效果(小尖角是 probertt)：

是不是好很多？max(bw/delay) 替换 maxbw 后的代码如下：

for n in range(1, len(times)):
    if n > WIN + 1:
        sublistx = ex[n - WIN : n]
        sublisty = ey[n - WIN : n]
        sublistz = ez[n - WIN : n]
        max_ex = max(sublistx)
        max_ey = max(sublisty)
        max_ez = max(sublistz)
        idxx = sublistx.index(max_ex) + n - WIN
        idxy = sublisty.index(max_ey) + n - WIN
        idxz = sublistz.index(max_ez) + n - WIN
        print(idxx, idxy, idxz)
        print(max_ex, max_ey, max_ez)
        e_x = x[idxx]
        e_y = y[idxy]
        e_z = z[idxz]
    else:
        e_x = x[n-1]
        e_y = y[n-1]
        e_z = z[n-1]
    if n / RTTWIN > 1:
        Rmin = min(r[n - RTTWIN:n])
    else:
        Rmin = R
    x[n] = x[n-1] + dt * (C*(g*e_x*Rmin)/(g*e_x*Rmin + wy[n-1] + wz[n-1]) - x[n-1])
    y[n] = y[n-1] + dt * (C*(g*e_y*Rmin)/(g*e_y*Rmin + wx[n-1] + wz[n-1]) - y[n-1])
    z[n] = z[n-1] + dt * (C*(g*e_z*Rmin)/(g*e_z*Rmin + wx[n-1] + wy[n-1]) - z[n-1])
    # 瞬时模型方程为： x[n] = C*(g*e_x*Rmin)/(g*e_x*Rmin + wy[n-1] + wz[n-1])

    if n % RTTWIN == 0:
        wx[n] = 4
        wy[n] = 4
        wz[n] = 4
    else:
        wx[n] = wx[n-1] + dt * (x[n]*Rmin - wx[n-1])
        wy[n] = wy[n-1] + dt * (y[n]*Rmin - wy[n-1])
        wz[n] = wz[n-1] + dt * (z[n]*Rmin - wz[n-1])
        # 瞬时模型方程为：wx[n] = x[n]*Rmin
    r[n] = (wx[n] + wy[n] + wz[n]) / C
    if r[n] < R:
      r[n] = R
    ex[n] = x[n]/r[n]
    ey[n] = y[n]/r[n]
    ez[n] = z[n]/r[n]

但依然做不到随行，因为 max(bw/delay) 共识属于 “仁义” 共识，而 aimd 是富含侵略性的，max(bw/delay) 能确保统计作用下 minrtt 随行，但 aimd 流比较少时依然会受 probertt 本身影响，minrtt 轻微增长甚至不变，bbr 反而更加吃亏。

这里的随行讲的是 bbr 的 rtt 可以随行 aimd，一种显然的自适应的方法就是用 (r[n-1] + Rmin)/2 替换 Rmin，理由如下：

• 如果纯 bbr 共存，r[n-1] 接近 Rmin，除以 2 后约等于 Rmin；
• 如果与 aimd 共存，r[n-1] 增大周期比 Rmin 更小，攀升更快，bbr 随行计算 bdp。

一般将 buffer >= bdp 时称作 deep buffer，buffer 在 bdp 内的为 shallow buffer，详情可参考雅各布森管道的阐释。

上述算法在 buffer 大于 bdp 时随行收敛效果非常好，先看 2 倍 bdp deep buffer 场景：

5 倍 bdp 的 deep buffer 场景：

接着是 100 倍：

但在 shallow buffer 场景就看起来显示出了侵占性：

可这并不怪 bbr 的侵占性，因为按照雅各布森的管道理论，在 buffer 不足一个 bdp 时，经历一次 multiplicative decrease 后，其 inflt 一定会落到 bdp 之下，而 bbr 会趁机拿到这部分空闲资源，这并不怪 bbr，而是 aimd 本质决定的。

代码如下修改即可测试：

for n in range(1, len(times)):
    if n > WIN + 1:
        sublistz = ez[n - WIN : n]
        max_ez = max(sublistz)
        idxz = sublistz.index(max_ez) + n - WIN
        e_z = z[idxz]
    else:
        e_z = z[n-1]
    if n / RTTWIN > 1:
        Rmin = min(r[n - RTTWIN:n])
        Rmax = max(r[n - RTTWIN:n])
    else:
        Rmin = R
    x[n] = x[n-1] + dt * (C*(wx[n-1])/(wx[n-1] + wy[n-1] + wz[n-1]) - x[n-1])
    y[n] = y[n-1] + dt * (C*(wy[n-1])/(wy[n-1] + wx[n-1] + wz[n-1]) - y[n-1])
    z[n] = z[n-1] + dt * (C*(g*e_z*(Rmin+r[n-1])/2)/(g*e_z*(Rmin+r[n-1])/2 + wx[n-1] + wy[n-1]) - z[n-1])

    wx[n] = wx[n-1] + I
    wy[n] = wy[n-1] + I
    if n % RTTWIN == 0:
        wz[n] = 4
    else:
        wz[n] = wz[n-1] + dt * (z[n]*(r[n-1] + Rmin)/2 - wz[n-1])
    if wx[n] + wy[n] + wz[n] > B*C*R:
        wx[n] /= 2
        wy[n] /= 2
    r[n] = (wx[n] + wy[n] + wz[n]) / C
    if r[n] < R:
      r[n] = R
    ez[n] = z[n]/r[n]

但上述 (r[n-1] + Rmin)/2 替换 Rmin 的方法促进了 bbr 的侵略性，因为 bbr 几乎会占掉一半(偏少一点，恰好接近 1/3)的资源，剩余的由其它 aimd 均分，这就从 bbr 吃亏走向了 bbr 侵占的另一个极端。

希望 aimd 和 bbr 之间完全公平的企图是徒劳的，这二者完全是不同的机制，互不通有无，奈何？

在更符合现实的统计复用场景，同步 aimd 很少见，加入 red 会更加真实，剩下的就是调参：

• 缩小 PROBERTT_WIN，提高 Rmin 灵敏性，有助于 bbr 的 rtt 随行；
• 削弱但不取消 max(bw / delay) 共识，增加 bbr 随行概率但不增加侵占性。

当我将 probertt 周期缩减 10 倍(稍微极端点)，bbr 单挑 3 条 aimd 流，效果如下：

当放大 RTTWIN 到 400 时，大概就无力回天了：

这不难解释，因为越大的 RTTWIN，越小的 Rmin 被记忆的时间越久，生效的时间越久，rtt 越难以随行。

而以下是 E_best window 分别为 3 和 15 时的效果，设得更小，效应越弱：

反之，在 E_best_WIN 很大时，谦让导致恶果：

这也不难解释，因为最大的 bw / delay 被记忆越久，对应的 bw 生效越久，而在 aimd 场景，buffer 占据是持续变化的，bbr 要跟随上去的唯一方式就是基于更新的最大 bw / delay 对应的 bw 尽快 probe，而不是用旧的。

之所以没有彻底干掉 E_best 共识，因为在 probe 正当时，bbr 需要适可而止，bbr 需要的是事后被动跟随，而不是主动引领(《道德经》二十九章，“…物或行或随…”)，前者需要更小的 E_best_WIN，后者需要 E_best 本身。

以下是代码片段：

for n in range(1, len(times)):
    if n > WIN + 1:
        sublistz = ez[n - WIN : n]
        max_ez = max(sublistz)
        idxz = sublistz.index(max_ez) + n - WIN
        e_z = z[idxz]
    else:
        e_z = z[n-1]
    if n / RTTWIN > 1:
        Rmin = min(r[n - RTTWIN:n])
        Rmax = max(r[n - RTTWIN:n])
    else:
        Rmin = R
    x[n] = x[n-1] + dt * (C*(wx[n-1])/(wx[n-1] + wy[n-1] + wz[n-1] + wv[n-1]) - x[n-1])
    y[n] = y[n-1] + dt * (C*(wy[n-1])/(wy[n-1] + wx[n-1] + wz[n-1] + wv[n-1]) - y[n-1])
    v[n] = v[n-1] + dt * (C*(wv[n-1])/(wv[n-1] + wx[n-1] + wy[n-1] + wz[n-1]) - v[n-1])
    z[n] = z[n-1] + dt * (C*(g*e_z*(Rmin + r[n-1])/2)/(g*e_z*(Rmin + r[n-1])/2 + wx[n-1] + wy[n-1] + wv[n-1]) - z[n-1])

    wx[n] = wx[n-1] + I
    wy[n] = wy[n-1] + I
    wv[n] = wv[n-1] + I
    if n % RTTWIN == 0:
        wz[n] = 4
    else:
        wz[n] = wz[n-1] + dt * (z[n]*(r[n-1] + Rmin)/2 - wz[n-1])
    if wx[n] + wy[n] + wv[n] + wz[n] > B*C*R:
        if random.choice([0, 1]) == 1:
            wx[n] /= 2
        if random.choice([0, 1]) == 1:
            wy[n] /= 2
        if random.choice([0, 1]) == 1:
            wv[n] /= 2
    r[n] = (wx[n] + wy[n] + wz[n] + wv[n]) / C
    if r[n] < R:
      r[n] = R
    ez[n] = z[n]/r[n]

真理止于经理，狼狈始于西装。

浙江温州皮鞋湿，下雨进水不会胖。