PCA

PCA

主成分分析（PCA，Principle Component Analysis）就是在寻找使方差最大的方向，并在该方向上投影。(通常方差越大被视为越重要，方差也常常被称为能量)
$$Y=A\left(X-\overline{X}\right)$$

$Y$是PCA的输出，$a$是投影的方向矩阵，$X$是PCA的输入，$\overline{X}$是$X$的期望(通常也可以用均值代替$\overline{X}=\frac{1}{P}{\sum }_{i=1}^P{X}_i$）。

其中：$Y$是$M\times 1$矩阵，$a$是$M\times N$矩阵，$X$和$\overline{X}$是$N\times 1$矩阵。可以看出，PCA把$N$维的数据$X$投影到了以$a_i$为基向量的空间中得到$M$维的$Y$，完成降维。（$M<N$）
$$A=\left[\begin{array}{c}{a}_1\\ a_2\\ ⋮\\ a_M\end{array}\right]$$

PCA的推导

假设训练样本有 { X i } i = 1 ∼ P \left\{ X_i \right\} _{i=1\sim P} {Xi​}i=1∼P​，则$Y_i$可以写成：
$$\begin{array}{r}{Y}_i=\left[\begin{array}{c}{y}_{i1}\\ y_{i2}\\ ⋮\\ y_{iM}\end{array}\right]=\left[\begin{array}{c}{a}_1\left(X_i-\overline{X}\right)\\ a_2\left(X_i-\overline{X}\right)\\ ⋮\\ a_M\left(X_i-\overline{X}\right)\end{array}\right]\left(i=1\sim P\right)\end{array}$$

由主成分的含义，$y_{i1}$有最大的方差，因此我们需要最大化 $var(y_1)={\sum }_{i=1}^P{\left(y_{i1}-\overline{y_{i1}}\right)}^2$。

又因为：
$$\overline{y_{i1}}=\frac{1}{P}\sum _{i=1}^P{y}_{i1}=\frac{1}{P}\sum _{i=1}^P{a}_i\left(X_i-\overline{X}\right)=\frac{a_i}{P}\left(\sum _{i=1}^P{X}_i-P\overline{X}\right)=0$$
所以有：
$$\begin{array}{rl}var(y_1)& =\sum _{i=1}^P{\left(y_{i1}-\overline{y_{i1}}\right)}^2=\sum _{i=1}^P{y}_{i1}^2=\sum _{i=1}^P{\left[a_1\left(X_i-\overline{X}\right)\right]}^2\\ & =\sum _{i=1}^P\left[a_1\left(X_i-\overline{X}\right)\right]{\left[a_1\left(X_i-\overline{X}\right)\right]}^T\\ & =a_1\sum _{i=1}^P\left[\left(X_i-\overline{X}\right){\left(X_i-\overline{X}\right)}^T\right]a_1^T\\ & =a_1\Sigma a_1^T\end{array}$$

其中$\Sigma ={\sum }_{i=1}^P\left(X_i-\overline{X}\right){\left(X_i-\overline{X}\right)}^T$称为$X$的协方差矩阵。在上式中，我们不希望$y_1$的大小和$a_1$有关，因为$a_1$只是一个基向量，控制投影的方向，我们希望$a_1$是一个单位向量。因此，上述求最大值变成以下优化问题：
$$\begin{array}{rl}& \max :a_1\Sigma a_1^T\\ & s.t.a_1{a}_1^T=\Vert a_1{\Vert }^2=1\end{array}$$

解上面优化问题可以使用拉格朗日乘数法：
$$\begin{array}{rl}& E\left(a_1\right)=a_1\Sigma a_1^T-{\lambda }_1\left(a_1{a}_1^T-1\right)\\ & \frac{\partial E\left(a_1\right)}{\partial a_1}=2{\left(\Sigma a_1^T-{\lambda }_1{a}_1^T\right)}^T=0\end{array}$$
得到：$\Sigma a_1^T={\lambda }_1{a}_1^T$（即$a_1^T$是$\Sigma$的特征向量，${\lambda }_1$是对应的特征值）

目标函数变为：
$$var(y_1)=a_1\Sigma a_1^T={\lambda }_1{a}_1{a}_1^T={\lambda }_1$$
则当$a_1$是$\Sigma$最大的特征值${\lambda }_1$对应的特征向量时，$a_1$是此优化问题的解。

我们称$y_1=a_1\left(X-\overline{X}\right)$为$X$的第一主成分，$a_1$是$\Sigma$最大的特征值${\lambda }_1$对应的特征向量。

我们接着求$a_2$，我们希望求出的主成分之间是不相关的，即：
$$\begin{array}{rl}cov\left(y_1,y_2\right)& =\sum _i^P\left(y_{i1}-\overline{y_{i1}}\right)\left(y_{i2}-\overline{y_{i2}}\right)=\sum _i^P{y}_{i1}{y}_{i2}\\ & =\sum _i^P\left[a_1\left(X_i-\bar{X}\right)\right]{\left[a_2\left(X_i-\bar{X}\right)\right]}^T\\ & =a_1\Sigma a_2^T=0\end{array}$$
同理，由$cov\left(y_2,y_1\right)=0$推出$a_2\Sigma a_1^T=0$，且由上面的推导可知，$a_2\Sigma a_1^T={\lambda }_1{a}_2{a}_1^T=0$推出$a_2{a}_1^T=0$，即$a_1$与$a_2$正交。

求解$a_2$变成了下列优化问题：

$$\begin{array}{rl}& \max :a_2\Sigma a_2^T\\ & s.t.a_2{a}_2^T=\Vert a_2{\Vert }^2=1,a_1{a}_2^T=a_2{a}_1^T=0\end{array}$$
解上面优化问题可以使用拉格朗日乘数法：
$$\begin{array}{rl}& E\left(a_2\right)=a_2\Sigma a_2^T-{\lambda }_2\left(a_2{a}_2^T-1\right)-\beta a_1{a}_2^T\\ & \frac{\partial E\left(a_2\right)}{\partial a_2}={\left(2\Sigma a_2^T-2{\lambda }_2{a}_2^T-\beta a_1^T\right)}^T=0\end{array}$$
得到：

$$\begin{array}{rl}{\left(2\Sigma a_2^T-2{\lambda }_2{a}_2^T-\beta a_1^T\right)}^T& =2a_2{\Sigma }^T-2{\lambda }_2{a}_2-\beta a_1=2a_2\Sigma -2{\lambda }_2{a}_2-\beta a_1=0\\ \left(2a_2\Sigma -2{\lambda }_2{a}_2-\beta a_1\right)a_1^T& =2a_2\Sigma a_1^T-2{\lambda }_2{a}_2{a}_1^T-\beta a_1{a}_1^T=-\beta =0\end{array}$$
将$\beta =0$带入$\frac{\partial E\left(a_2\right)}{\partial a_2}$得到：
$$\Sigma a_2^T-{\lambda }_2{a}_2^T=0$$
即$a_2^T$是$\Sigma$的特征向量，${\lambda }_2$是对应的特征值

目标函数变为：
$$var(y_2)=a_2\Sigma a_2^T={\lambda }_2{a}_2{a}_2^T={\lambda }_2$$
则当$a_2$是$\Sigma$第二大的特征值${\lambda }_2$对应的特征向量时，$a_2$是此优化问题的解。

$\Sigma$最大的特征值${\lambda }_1$已经分配给$var(y_1)$了

我们称$y_2=a_2\left(X-\overline{X}\right)$为$X$的第二主成分，$a_2$是$\Sigma$最大的特征值${\lambda }_2$对应的特征向量。

按照上述方法可以求得第一、第二、直到第$M$主成分$y_i$，其系数向量$a_1^T,a_2^T,\cdots ,a_M^T$分别是$\Sigma$的第一个、第二个、直到第$M$个单位特征向量，${\lambda }_1,{\lambda }_2,\cdots ,{\lambda }_M$分别是对应的特征值，其值依次递减。并且，第$k$主成分的方差等于$\Sigma$的第$k$个特征值。

PCA算法总结

PCA算法：

1. 求$\Sigma ={\sum }_{i=1}^P\left(X_i-\overline{X}\right){\left(X_i-\overline{X}\right)}^T$

2. 求$\Sigma$的特征值并按从大到小排序$\left[{\lambda }_1,{\lambda }_2,\cdots ,{\lambda }_M\right]$，对应特征值$\left[a_1^T,a_2^T,\cdots ,a_M^T\right]$

3. 归一化所有$a_i^T$,使$\Vert a_i^T\Vert =1$

4. $$A=\left[\begin{array}{c}{a}_1\\ a_2\\ ⋮\\ a_M\end{array}\right]$$

5. $$Y=A\left(X-\overline{X}\right)$$

SVD（Singular Value Decomposition）算法可以快速求得特征值