Transformer模型分布式并行通信量浅析

1.数据并行DP（朴素数据并行，Zero数据并行之后补充）

$O(h^2\ast l)$
每台机器做完自己的梯度后需要做一次All reduce操作来累积梯度，故一个batch计算发送的数据量为每层（encoder/decoder)梯度大小和乘以层数$l$+词嵌入和输出层的大小。
其中：

​1.词嵌入层（Embedding）​：

参数量为 $V\cdot h$，其中 V 是词表大小。

2.输出投影层（Output Projection）​：

参数量同样为$ V⋅h$，与词嵌入层相同。

3. ​LayerNorm 参数：

每层的 LayerNorm 有 $2\cdot h$参数（缩放因子和偏置）。

4.注意力层参数：

输入投影矩阵（Q、K、V）总参数量为 $3h^{}$