机器学习（十）：PCA

1. PCA

1.1 PCA算法

为什么要使用主成分分析？正如名字所示，其目的显而易见，不再赘述，此处从自动编码器的角度审视PCA。

最小化如下损失函数：

$$C=\frac 1{2m} \sum_{i=1}^m ||y^{(i)}-WW^Tx^{(i)}||^2$$ 根据 $WW^T$的对称性，我们使用eigen-decompose： $$WW^T=VDV^T$$ 其中V是单位正交阵，D是对角矩阵，都是d*d维， $VV^T=I$， $D$中的非零值小于$\bar d$个。

我们可以从物理意义上来解析$h(x)$到底干了什么：

1. $V^Tx$首先对x进行坐标变换。此处V是d*d维，x是d维，所以此处对应的是将向量x旋转；
2. $D(V^Tx)$，因为D中非零值小于$\bar d$个，所以其作用是将$\ge (d-\bar d$个分量设为0，其余分量进行scale。
3. $V(DV^Tx)$将上述操作后的变量变回原来的坐标系，此处对应的是将向量旋转回来。

$$||y-WW^T||^2=||VIV^Tx-VDV^Tx||^2=[V(IV^Tx-DV^Tx)]^T[V(IV^Tx-DV^Tx)]=(IV^Tx-DV^Tx)^T(IV^Tx-DV^Tx)=||(I-D)V^Tx||^2$$ 那么我们的问题变成： $$\min_V\min_D\frac 1{2m} \sum_{i=1}^m||(I-D)V^Tx^{(i)}||^2$$
首先对内层最小化，很明显 $I-D$中的0越多越好：

接下来我们就外层进行最小化，很明显

假设$\bar d=1$,则$V^T$只会保留下第一行$v^T$，则有

$$max_v\sum_{i=1}^mv^Tx^{(i)}x^{(i)^T}v\ \ s.t. v^Tv=1$$
如何求解？令 $$J=v^TX^TXv-\lambda(v^Tv-1)$$ 令偏微分等于0，有 $$X^TXv=\lambda v$$ 此时有 $$max_vv^TX^TXv=\lambda$$
什么意思呢？我们只要对 $X^TX$进行特征分解即可。

1.2 PCA使用注意事项

如果输入的多个维度数值不在同一尺度下，那么可以先将数值都变换到同一尺度。

如何选择$\bar d$？

一定要记住，不要过早地使用PCA。