机器学习-白板推导 P5_5 (PCA SVD)

SVD

$$S=GK{G}^T{G}^{T}G=IK=\left[\begin{array}{cccc}{k}_1& 0& ...& 0\\ 0& k_2& ...& 0\\ ⋮& ⋮& \ddots & ⋮\\ 0& 0& ...& k_p\end{array}\right]k_1\ge k_2\ge ...\ge k_p$$

原始数据为$X$,中心化矩阵$H=I-\frac{1}{N}{1}_N{1}_N^T$

对数据进行中心化$HX$

中心化后数据进行$SVD$：$HX=U\Sigma V^T{U}^{T}U=I{V}^{T}V=V{V}^T=I$

$S=X^{T}HX=X^T{H}^{T}HX=V\Sigma U^T\cdot U\Sigma V^T=V{\Sigma }^2{V}^T$

所以：
$G=VK={\Sigma }^2$

定义：
$T=HX{X}^{T}H=U\Sigma V^T\cdot V\Sigma U^T=U{\Sigma }^2{U}^T$

$T$和$S$有相同的特征值

$S$:特征分解，得到方向(主成分)，然后$HX\cdot V\to$坐标

$T$:特征分解，直接得到坐标

$T$主坐标分析（principle coordinate analysis）PCoA

$HX\cdot V=U\Sigma V^{T}V=U\Sigma$

$U\Sigma$为坐标矩阵

$TU\Sigma =U{\Sigma }^2{U}^T\cdot U\Sigma =U\Sigma {\Sigma }^2$

$U\Sigma$为特征向量组成的矩阵，${\Sigma }^2$特征值矩阵