【无聊问题之】为什么transformer中query和key的相似度用点积来计算

1. 计算效率：在数学上，两个向量的点积可以衡量它们之间的相似度。当两个向量的方向相近时，点积的结果会较大，反之则较小。这种计算方式非常适合于大规模并行计算。

2. 线性关系：点积能够捕捉向量之间的线性关系。点积提供了一个简单的度量方式，能够反映出query和key在相同维度上的匹配程度。

3. 易于实现和优化：在深度学习框架中，点积操作通常都有高效的实现，并且可以很容易地进行反向传播和优化。

4. 可扩展性和灵活性：点积作为一种基本的数学运算，可以很容易地扩展到高维空间，并且可以与深度学习模型的其他部分无缝集成。此外，点积还可以与其他操作（如缩放因子、softmax函数等）结合使用，以产生更加复杂和精细的注意力权重。

5. 无偏性：在注意力机制中，我们通常希望相似度度量是无偏的，即不受向量长度或模长的影响。虽然点积本身对向量的长度敏感，但可以通过缩放因子（如除以维度的平方根）来调整，以减少这种敏感性。

6. 直观性：点积的结果是一个单一的数值，这个数值可以直观地解释为query和key之间的相似度分数。这个分数越高，说明两者越相似。