Near-Optimal Topology-adaptive Parameter Synchronization in Distributed DNN Training（论文笔记）

问题

GPU间的通信经常是异构的，会受到以下因素的影响：GPU是否位于同一台物理机器上以及机器间的可用带宽。

给定GPU间的连接和带宽，此文寻找最好的参数同步方案，以充分利用可用带宽进而最小化通信时间。参数同步方案规定了梯度/参数块在工作节点之间的交换方式，即交换的拓扑结构和在拓扑结构上交换梯度/参数数据的数量。

设计

问题模型

此文符号设计如下：

系统抽象

worker之间通过任意的物理网络连接，两个节点之间可以没有连接链路。在一次通信轮中，可以让worker的一个子集参与同步参数，将子集中的这些节点称作active workers或$\tilde{V}$。例如，当worker的计算速度不同时，参数可以在速度相近的worker子集之间同步。

通信

性质1： 对于不可分的参数块，最好的归约/广播拓扑是一棵树。因为在归约阶段，每个worker只需要把这个块发送给一个其他的worker，而在广播阶段，每个worker只需要从一个其他的worker那里收到这个块。

性质2： 忽略每个worker的梯度/参数处理时间（归约时的平均、广播时的转发），假定参数块$c_i$能被分成无穷小的子块进行流水线传输，在归约（广播）树上的归约（广播）的时间渐近于
$$\frac{|c_i|}{mi{n}_{e\in R_i}{b}_e}$$
其中树$R_i$的有效带宽为$w(R_i)=mi{n}_{e\in R_i}{b}_e$。（$b_e$指的是树上边的可用带宽）

为了最大化利用worker间的连接带宽，此文确定一组归约（广播）树，然后将参数C划分成对应数量的块$c_1,c_2,...$。沿着每棵树，参数块进一步被划分成很小的子块进行流水线传输，以最大化利用链路的并行传输。

性质3： 给定归约（广播）树集合$R_1,...,R_r$，通过将模型参数C按有效带宽的比例分配给每棵树，可以达到最小归约（广播）时间。即$|c_i|\propto w(R_i)$，时间$T=\frac{|c_i|}{w(R_i)}=\gamma$。

$C_v$是分配给以worker v为根的归约/广播树的参数块的集合，可能包括多个块（多个树）。worker v从以它为根的归约树得到所有active worker的对应梯度块，得到更新的参数后，再通过以它为根的广播树将更新后的参数广播给所有的active worker。注意，广播树和归约树不一定是相同的。示意图如下：

在所有以v为根的归约树上的，$C_v$的归约时间为$\frac{|C_v|}{{\sum }_{i\in \mathfrak{T}(v)}{w}_i}$。

因此所有参数的归约的时间可写为：

所有参数的广播时间可写为：

在N个活跃worker上的总通信时间可写为：

目标就是最小化通信时间，因为|C|是固定的，所以优化问题如下：

(3a)中的约束表示由根在v的树归约的同一组块，然后由根在v的树广播。(3b)是归约树的带宽约束，(3c)是广播树的带宽约束。在这个公式中，还原树和广播树不共享链路带宽，假设广播阶段在所有归约树的归约过程完成后开始。注意，$x_e^i$和$x_e^j$是提前确定好的，不是此优化问题的变量。

因为归约时间和广播时间相等，所以优化问题可以写成如下方式：

这是一个线性规划问题。

参数同步拓扑构造

在这节中，将会介绍一个高效算法来找到归约和广播树进行参数同步。在整个归约阶段完成后，广播阶段才会开始执行。问题（3）被划分成两个子问题，分别是找到归约树的集合和广播树的集合。寻找连接活跃节点的归约（广播）树本质上是一个有向Steiner森林打包问题。具体算法如下：

具体过程略去不表。根据以上算法产生广播树和归约树后，使用这些树解决优化问题（4），其是一个线性规划问题，得到每棵树的权重（可用带宽）。此求解过程得到的结果是一个近似解。

重叠归约与广播

在归约阶段，可以使用流水线方式对归约和广播进行并行。具体来说，在归约阶段中，可以对已经归约好的部分调用广播。此文又定义了一个优化问题，此优化问题把归约和广播的并行考虑了进去，如下：

其中$w_k$的部分就是在归约阶段进行广播的有效带宽。在归约阶段进行广播的广播树和在广播阶段进行广播的广博树是一样的。这些归约树和广播树也是利用算法1得到的。