为什么self-attention要除以一个根号dk

简单说法是为了让方差到1，推公式也好推。但是没几个人说为什么方差要到1.
如果不除以根号dk，显然QK有可能很大，这就让softmax更有能力得到接近one-hot的结果。这本应是好的，但是从实践来看，我们并不要求一定要输出one-hot，这有点over-fitting的感觉了。差不多就行。
还有更重要的理由。softmax求导是$a-a^2$，$a$是softmax的结果。如果$a$太one-hot了，这里的梯度直接全部到0，就太小了。我愿称之为softmax陷阱，就和sigmoid一样，你以为one-hot好，事实上谁知道呢，比起任由self-attention只关注一个v，还是看看远方的其他v吧。这样看，如果浅层网络已经提取到足够的信息了，后面的所有v都将与最有价值的v趋于一致，否则就会因为根号dk强制多see几个而引入不必要的v。除非readout的softmax不用根号dk，实际上也确实是这么做的。