1. N趋近于无穷大时多项式分布收敛到高斯分布
本节对应PRML (Pattern Recognition and Machine Learning)的2.3节。当我们考虑多个随机变量只和的时候,也会产生高斯分布。拉普拉斯提出的中心极限定理(central limit theorem)告诉我们,对于某些温和的情况,一组随机变量之和(当然也是随机变量)的概率分布随着和式中项的数量增加而逐渐趋向高斯分布(Walker,1969)。考虑
N
个变量
上图表示的概率密度曲线,对横轴(
2. 为什么协方差矩阵可以表示成特征向量展开的形式
本节对应PRML (Pattern Recognition and Machine Learning)的2.3节。考虑协方差矩阵的特征向量方程
Σui=λiui
其中 i=1,…,D 。由于 Σ 是实对称矩阵,因此他们的特征值也是实数,并且特征向量可以被选成单位正交的,即
uTiuj=Iij
其中 Iij 是单位矩阵的第 i,j 个元素,满足
Iij={1,0,如果i=j其他情况
令
U=[u1,u2,…,uD]
Λ=diag[λ1,λ2,…,λD]
则有
Σ=UΛUT=∑i=1DλiuiuTi
因此协方差矩阵可以表示成特征向量的展开形式。
参考文献
[1] Christopher M. Bishop, Pattern Recognition and Machine Learning, Springer, 2006.