第二章 概率分布

1. N趋近于无穷大时多项式分布收敛到高斯分布

本节对应PRML （Pattern Recognition and Machine Learning）的2.3节。当我们考虑多个随机变量只和的时候，也会产生高斯分布。拉普拉斯提出的中心极限定理（central limit theorem）告诉我们，对于某些温和的情况，一组随机变量之和（当然也是随机变量）的概率分布随着和式中项的数量增加而逐渐趋向高斯分布（Walker，1969）。考虑$N$个变量$x_1,\dots,x_N$，每一个都是区间$[0,1]$上的均匀分布，然后考虑均值$\frac{1}{N}(x_1+\dots+x_N)$的分布，对于大的$N$，这个分布趋向与高斯分布，如下图所示。

上图表示的概率密度曲线，对横轴（$N$个随机变量的均值）积分，可以得到相应的概率。

2. 为什么协方差矩阵可以表示成特征向量展开的形式

本节对应PRML （Pattern Recognition and Machine Learning）的2.3节。考虑协方差矩阵的特征向量方程

$$\Sigma \mathbf u_i=\lambda_i \mathbf u_i$$
其中 $i=1,\dots,D$。由于 $\Sigma$是实对称矩阵，因此他们的特征值也是实数，并且特征向量可以被选成单位正交的，即
$$\mathbf u_i^T \mathbf u_j=I_{ij}$$
其中 $I_{ij}$是单位矩阵的第 $i,j$个元素，满足
$$I_{ij}=\left\{ \begin{array}{cc} 1, & 如果i=j\\ 0, &其他情况 \end{array} \right.$$
令
$$U=[\mathbf u_1, \mathbf u_2,\dots,\mathbf u_D]$$
$$\Lambda={\rm diag}[\lambda_1,\lambda_2,\dots,\lambda_D]$$
则有
$$\Sigma=U\Lambda U^T=\sum_{i=1}^D\lambda_i \mathbf u_i \mathbf u_i^T$$
因此协方差矩阵可以表示成特征向量的展开形式。

参考文献

[1] Christopher M. Bishop, Pattern Recognition and Machine Learning, Springer, 2006.