【面试】Transformer计算attention时为何选择点乘而不是加法？两者在计算复杂度和效果上有什么区别？

面试官提问：Transformer计算attention时为何选择点乘而不是加法？两者在计算复杂度和效果上有什么区别？

参考回答：

在Transformer模型中，点乘（dot-product）被用来计算注意力权重而不是加法（additive attention），这是有以下几个重要原因：

1. 点乘计算更高效

点乘操作可以通过矩阵乘法的方式进行优化。在实际计算时，尤其是使用GPU或TPU等并行加速硬件，矩阵乘法非常高效，可以利用硬件的并行计算能力。在大规模模型中，如Transformer中的多头注意力机制，点乘操作可以通过并行化来加快计算过程。

相比之下，加法注意力则无法轻松利用矩阵运算来进行优化，因为它涉及到将查询向量和键向量逐项相加并且再经过非线性激活函数（如tanh）处理。虽然加法注意力的计算复杂度理论上是线性的，但在硬件优化上不如点乘高效。

2. 计算复杂度对比

• 点乘注意力（Scaled Dot-Product Attention）：计算注意力权重的复杂度为 $O(d)$，其中 $d$ 是向量的维度。因为是直接通过矩阵乘法来完成的，所以可以通过并行化显著加快计算。
• 加法注意力（Additive Attention）：复杂度也是 $O(d)$，但由于其需要逐项计算相加并且引入了激活函数（如tanh）等非线性运算，实际计算开销较高，不容易进行矩阵运算的加速优化。

3. 点乘在效果上的表现

点乘注意力由于涉及矩阵乘法，并且通过对点积进行缩放（scaled），能够处理大向量维度时避免梯度爆炸或消失的问题。具体来说，Transformer中使用了Scaled Dot-Product Attention，其公式为：
$$\text{Attention}(Q,K,V)=\text{softmax}\left(\frac{Q{K}^{\top }}{\sqrt{d_k}}\right)V$$
这里，$Q$ 是查询（Query），$K$ 是键（Key），$V$ 是值（Value），而 $d_k$ 是键的维度。通过对点积除以 $\sqrt{d_k}$ 进行缩放，避免了当向量维度较大时点积值过大而导致softmax输出极端值的情况。

相比之下，加法注意力的计算流程更为复杂，虽然它在早期模型（如Bahdanau Attention）中取得了不错的效果，但由于其计算效率较低、难以扩展到更大规模模型中，因此在Transformer中并没有采用。

4. 点乘的数学解释

从数学角度看，点乘是一种衡量两个向量相似度的自然方式。当查询 $Q$ 和键 $K$ 的方向相似时，点积值会较大，softmax后的权重也会较大，意味着这种相似性直接影响了注意力权重的大小。这种直接使用相似性进行权重分配的方式非常直观且高效。

而加法注意力则更依赖于非线性激活函数来捕捉向量之间的关系，虽然在某些情况下这种方法可能更灵活，但也会增加模型的计算复杂度和难以并行化。

总结：

• Transformer选择点乘注意力是因为其计算效率更高，可以通过矩阵乘法进行并行优化，尤其适合大规模的模型训练和推理。
• 在计算复杂度上，虽然理论上点乘和加法注意力的复杂度都是 $O(d)$，但点乘在实际硬件中通过并行化能够显著提升计算速度。
• 在效果上，点乘注意力能够有效衡量向量的相似性，尤其在高维度向量时，通过缩放避免数值不稳定问题，而加法注意力由于非线性操作的引入，效果上并无显著提升，且计算更为复杂。

因此，在Transformer中使用点乘注意力是一种更高效、可扩展的选择。