PCA降维(公式推导)

PCA

PCA线性投影降维的方法。当维度p高，样本少。

p>> N ,

$$S=\frac{1}{N}X{X}^T$$
因为 $x_n是R^{p\times 1}$ 所以$Rank(x_n{x}_n^T)\le 1$
所以 $Rank(S)\le N$
这种情况下，矩阵运算的复杂度$O(p^3)$，浪费了很多的时间，得到了很多是0的矩阵。

对偶PCA

$S=\frac{1}{N}X{X}^T,G=X^{T}X$, S的特征值和特征向量${\lambda }_i,{\mu }_i$, G的特征值和特征向量${\gamma }_i,v_i$。
左乘 $X_T$到公式
$X{X}^T{\mu }_i=N{\lambda }_i{\mu }_i$得到
$X^{T}X(X^T{\mu }_i)=N{\lambda }_i(X^T{\mu }_i)$,
$v_i=X^T{\mu }_{i}and{\gamma }_i=N{\lambda }_i$
得到
$X{v}_i=X{X}^T{\mu }_i=NS{\mu }_i=N{\lambda }_i{\mu }_i={\gamma }_i{\mu }_i$
所以${\mu }_i=\frac{1}{{\gamma }_i}X{v}_i$

在高维空间可以用对偶PCA

Kernel PCA

PCA是线性的，但是Kernel PCA是非线性的。
$\varphi :\chi ->H,x->\varphi (x)$
在希尔伯特空间使用对偶PCA
$G=\varphi (X{)}^T\varphi (X)=[k(x_i,x_j){]}_{i,j}$ k 是降维的kernel.