PCA算法的三种求解形式对比

前段时间回顾PCA算法时，发现存在三种不同的求解形式。一种是直接通过求解中心化后的样本数据$X_{center}$的SVD分解得到映射向量；一种是先求出$X_{center}$的协方差矩阵$C$，然后计算对称矩阵$C$的特征分解，最后得到映射向量；最后一种（也是常用的一种）也是先求出$X_{center}$的协方差矩阵$C$，然后计算对称矩阵$C$的SVD分解，最后得到映射向量。当时很困惑到底应该用哪种，哪种是最正确的做法，因此对相关的知识点进行了梳理，也就有了这篇笔记。

根据牵涉到的知识点，这篇笔记将先介绍随机变量的数字特征（期望、方差等）以及数理统计中常用的统计量（样本均值、样本方差），接着介绍特征值、特征向量和特征分解，然后介绍SVD分解，最后分析PCA的三种求解形式之间的关系。

均值和方差

随机变量的数字特征

设$X,Y$都是一维随机变量。
数学期望：$E[X]$

方差：$D[X]=Var[X]=E[(X-E[X]{)}^2]=E[X^2]-(E[X]{)}^2$

协方差：$Cov(X,Y)=E[(X-E[X])(Y-E[Y])]=E[XY]-E[X]E[Y]$. 反应$X$与$Y$相互间关系。

相关系数：${\rho }_{XY}=\frac{Cov(X,Y)}{\sqrt{D[X]\cdot \sqrt{D[Y]}}}$

协方差矩阵（对称阵）：
$$C=\left[\begin{array}{cc}Cov(X,X)& Cov(X,Y)\\ Cov(Y,X)& Cov(Y,X)\end{array}\right]$$

数理统计中常用统计量

设$X_i,Y_i$都是一维数据，即$X_i$只有一个特征。
样本均值：$\overline{X}=\frac{1}{N}{\sum }_{i=1}^N{X}_i$

样本方差：$S^2=\frac{1}{N-1}{\sum }_{i=1}^N(X_i-\overline{X}{)}^2$

协方差：$Cov(X,Y)=\frac{1}{N-1}{\sum }_{i=1}^N(X_i-\overline{X})(Y_i-\overline{Y})$
协方差矩阵的计算类似。

上述公式也是机器学习中计算$\mu ,{\sigma }^2$的基本公式。

对多维样本（样本具有多个特征），令$X$为包含$m$个$n$维样本$x^{(i)}$的样本集。则：
X = [ x ( 1 ) T x ( 2 ) T ⋮ x ( m ) T ] = [