n维空间下两个随机向量的夹角分布

昨天群里大家讨论到了 $n$维向量的一些反直觉现象，其中一个话题是“ 一般$n$维空间下两个随机向量几乎都是垂直的”，这就跟二维/三维空间的认知有明显出入了。要从理论上认识这个结论，我们可以考虑两个随机向量的夹角 $\theta$分布，并算算它的均值方差。

概率密度

首先，我们来推导$\theta$的概率密度函数。呃，其实也不用怎么推导，它是n维超球坐标的一个直接结论。

要求两个随机向量之间的夹角分布，很显然，由于各向同性，所以我们只需要考虑单位向量，而同样是因为各向同性，我们只需要固定其中一个向量，考虑另一个向量随机变化。不是一般性，考虑随机向量为
$$x=(x_1,x_2,\dots ,x_n)\text{\hspace{1em}(1)}$$
而固定向量为
$$y=(1,0,\cdots ,0)\text{\hspace{1em}(2)}$$
将$x$变换为超球坐标（关于$n$维球的知识可以参考维基百科）：
$$\{\begin{array}{l}{x}_1=\cos ({\phi }_1)\\ x_2=\sin ({\phi }_1)\cos ({\phi }_2)\\ x_3=\sin ({\phi }_1)\sin ({\phi }_2)\cos ({\phi }_2)\\ ⋮\\ x_{n-1}=\sin ({\phi }_1)\dots \sin ({\phi }_{n-2})\cos ({\phi }_{n-1})\\ x_n=\sin ({\phi }_1)\dots \sin ({\phi }_{n-2})\sin ({\phi }_{n-1})\end{array}\text{\hspace{1em}(3)}$$
其中${\phi }_{n-1}\in [0,2\pi )$而剩下的$\phi$范围是$[0,\pi ]$。此时，$x$和$y$的夹角是：
$$\arccos ⟨x,y⟩=\arccos \cos {\phi }_1={\phi }_1\text{\hspace{1em}(4)}$$
也就是说两者的夹角正好是${\phi }_1$。那么，$x$和$y$的夹角不超过$\theta$的概率是：
$$P_n({\phi }_1\le \theta )=\frac{n维超球面上{\phi }_1不超过\theta 的积分}{n维超球面上的全积分}\text{\hspace{1em}(5)}$$
而$n$维超球面上的积分微元${\sin }^{n-2}({\phi }_1){\sin }^{n-3}({\phi }_2)\cdots \sin ({\phi }_{n-2})d{\phi }_{1}d{\phi }_2\cdots d{\phi }_{n-1}$（可在维基百科找到），所以
$$\begin{array}{rl}{P}_n({\phi }_1\le \theta )& =\frac{{\int }_0^{2\pi }\cdots {\int }_0^{\pi }{\int }_0^{\theta }{\sin }^{n-2}({\phi }_1){\sin }^{n-3}({\phi }_2)\cdots \sin ({\phi }_{n-2})d{\phi }_{1}d{\phi }_2\cdots d{\phi }_{n-1}}{{\int }_0^{2\pi }\cdots {\int }_0^{\pi }{\int }_0^{\pi }{\sin }^{n-2}({\phi }_1){\sin }^{n-3}({\phi }_2)\cdots \sin ({\phi }_{n-2})d{\phi }_{1}d{\phi }_2\cdots d{\phi }_{n-1}}\\ & =\frac{(n-1)维单位超球的表面积\times {\int }_0^{\theta }{\sin }^{n-2}{\phi }_{1}d{\phi }_1}{n维单位超球的表面积}\\ & =\frac{\Gamma (\frac{n}{2})}{\Gamma (\frac{n-1}{2})\sqrt{\pi }}{\int }_0^{\theta }{\sin }^{n-2}{\phi }_{1}d{\phi }_1(n维球面的表面积S_n=\frac{2{\pi }^{\frac{n}{2}}{R}^{n-1}}{\Gamma (\frac{n}{2})})\end{array}\text{\hspace{1em}(6)}$$
这表明$\theta$的概率密度函数就是
$$p_n(\theta )=\frac{\Gamma (\frac{n}{2})}{\Gamma (\frac{n-1}{2})\sqrt{\pi }}{\sin }^{n-2}\theta \text{\hspace{1em}(7)}$$
有时候我们想关心$\eta =\cos \theta$的分布，这时候需要应用第二积分换元法做一下概率密度的换元
$$\begin{array}{rl}{p}_n(\theta )& =\frac{\Gamma (\frac{n}{2})}{\Gamma (\frac{n-1}{2})\sqrt{\pi }}{\sin }^{n-2}(\arccos \eta )\left|\frac{d\theta }{d\eta }\right|\\ & =\frac{\Gamma (\frac{n}{2})}{\Gamma (\frac{n-1}{2})\sqrt{\pi }}(1-{\eta }^2{)}^{\frac{n-2}{2}}(1-{\eta }^2{)}^{\frac{1}{2}}\\ & =\frac{\Gamma (\frac{n}{2})}{\Gamma (\frac{n-1}{2})\sqrt{\pi }}(1-{\eta }^2{)}^{\frac{n-3}{2}}\end{array}\text{\hspace{1em}(8)}$$

分布情况

由(7)和(8)我们可以看到，当$n=2$时，夹角$\theta$的分布是一个均匀分布，而当$n=3$时，夹角余弦$\cos \theta$的分布是均匀分布。这两个结果说明在我们所能感知到的二维和三维空间中，角度的分布是比较均匀的。但是$n$比较大的时候呢？比如$n=20,50$？

从$p_n(\theta )\sim {\sin }^{-2n}\theta$的形式可以发现，当$n\ge 3$时，最大概率是$\theta =\frac{\pi }{2}$（即90度），另外${\sin }^{n-2}\theta$也是关于$\theta =\frac{\pi }{2}$对称的，所以它的均值也是$\frac{\pi }{2}$。但这还不能充分描述分布情况，我们还需要考虑方差
$$Va{r}_n(\theta )=\frac{\Gamma (\frac{n}{2})}{\Gamma (\frac{n-1}{2})\sqrt{\pi }}{\int }_0^{\pi }(\theta -\frac{\pi }{2}{)}^2{\sin }^{n-2}\theta d\theta \text{\hspace{1em}(9)}$$
这个积分有解析解，但是形式很麻烦（喜欢看的话可以自己用Mathematica去算），我们来看部分数值解就好：

n	方差
3	0.467401
10	0.110661
20	0.0525832
50	0.0204053
100	0.0101007
200	0.00502508
1000	0.001001

可以看到，随着$n$的增大，方差越来越小，这意味着高维空间中任意两个向量的夹角几乎都集中在$\frac{\pi }{2}$附近，换言之，高维空间中任意两个向量几乎都是垂直的。

当然，从图像也可以看出：

如果想要近似解析解的读者，可以考虑用拉普拉斯方法，用一个高斯分布去近似$p_n(\theta )$：在$\theta =\frac{\pi }{2}$处对$\ln {\sin }^{n-2}\theta$进行展开
$$\ln {\sin }^{n-2}\theta =\frac{2-n}{2}(\theta -\frac{\pi }{2}{)}^2+\mathcal{O}((\theta -\frac{\pi }{2}{)}^4)\text{\hspace{1em}(10)}$$
即
$${\sin }^{n-2}\theta \approx \exp [-\frac{n-2}{2}(\theta -\frac{\pi }{2}{)}^2]\text{\hspace{1em}(11)}$$
从这个近似形式看，我们可以近似地认为$\theta$服从均值为$\frac{\pi }{2}$、方差为$\frac{1}{n-2}$的正态分布，即当$n$较大时，方差近似为$\frac{1}{n-2}$，这也能看出$n$越大，方差越小。

转载

本文转载自苏神的 n维空间下两个随机向量的夹角分布