self-attention中根号d的由来

问题：

答：
假设 $q_{i,j}$ 和 $k_{i,j}$ 分别表示矩阵 $Q$ 和 $K$ 的第 $i$ 行第 $j$ 列的元素，则矩阵 $Q{K}^T$ 的第 $i$ 行第 $j$ 列的元素为：

$$(Q{K}^T{)}_{i,j}=\sum _{k=1}^{d_k}{q}_{i,k}{k}_{j,k}$$

因此，我们可以将 $Q{K}^T$ 中的每个元素表示为 $d_k$ 个随机变量的线性组合。由于 $q_{i,k}$ 和 $k_{j,k}$ 的均值均为 $0$，因此 $q_{i,k}{k}_{j,k}$ 的均值为：

$$E(q_{i,k}{k}_{j,k})=E(q_{i,k})E(k_{j,k})=0$$

这是因为两个随机变量的乘积的期望等于各自的期望的乘积【注1】。因此，$q_{i,k}{k}_{j,k}$ 的均值为 $0$。

此外，$q_{i,k}$ 和 $k_{j,k}$ 的方差均为 $1$，因此 $q_{i,k}{k}_{j,k}$ 的方差为 $1$。由于这 $d_k$ 个随机变量是独立的，因此 $Q{K}^T$ 中的每个元素都是 $d_k$ 个均值为 $0$，方差为 $1$ 的随机变量的线性组合。

因此，根据线性组合的性质，$Q{K}^T$ 中每个元素的方差为：

$$\mathrm{Var}((Q{K}^T{)}_{i,j})=\sum _{k=1}^{d_k}\mathrm{Var}(q_{i,k}{k}_{j,k})=\sum _{k=1}^{d_k}\mathrm{Var}(q_{i,k})\mathrm{Var}(k_{j,k})=d_k$$

因此，矩阵 $Q{K}^T$ 的标准差为 $\sqrt{d_k}$。

注1：
两个随机变量 $X$ 和 $Y$ 的乘积的期望可以表示为：

$$E(XY)=\sum _x\sum _{y}xy\cdot p(x,y)$$

其中 $p(x,y)$ 是 $X$ 和 $Y$ 的联合概率分布。如果 $X$ 和 $Y$ 是相互独立的，则有 $p(x,y)=p(x)p(y)$，因此：

$$\begin{array}{rl}E(XY)& =\sum _x\sum _{y}xy\cdot p(x)p(y)\\ & =\left(\sum _{x}x\cdot p(x)\right)\left(\sum _{y}y\cdot p(y)\right)\\ & =E(X)E(Y)\end{array}$$

因此，如果 $X$ 和 $Y$ 是相互独立的，则它们的乘积的期望等于各自的期望的乘积。这个性质在概率论和统计学中经常被用到。在上面的问题中，$q_{i,k}$ 和 $k_{j,k}$ 是独立的随机变量，因此它们的乘积的期望等于各自的期望的乘积。由于它们的期望均为 $0$，因此 $q_{i,k}{k}_{j,k}$ 的期望也为 $0$。