注意力中的尺度放缩详解

直接上干货！！！
在注意力中我们经常看到以下公式：
$$scor{e}_{atten}=softmax(\frac{Q{K}^T}{\sqrt{d_k}})$$
为什么就要除以$d_k$呢？要除的话为什么要除以它而不是其他数呢？
这是因为存在以下推导：
$$(Q{K}^T{)}_{mn}=\sum _i^{d_k}{q}_{mi}{k}_{in}$$
其中m、n表示两个矩阵相乘的第m行第n列的元素，$q_{mi}、k_{in}$都是期望为0、方差为1的分布且认为独立，所以$q_{mi}{k}_{in}$的期望仍为0，方差为1，但是进行了$d_k$个求和后，方差变成了$d_k$（$D(X_1+X_2+...+X_n)=nD(X_1)$，其中$X_1到X_n$遵循同一个分布且独立），这样，就会导致方差变大，而且又经过了$softmax$（其中的指数函数具有拉大两数差距的效果），导致注意力分数大部分集中到了最高概率的那一个，其他注意力分数接近于零，传过来的梯度接近于零，无法实现有效更新，所以对其除以$\sqrt{d_k}$（$D(aX)=a^{2}D(X)$），将方差重新归为1，使其方差分布不受维度影响。