（六）特征分解的运用

1、PCA的本质

协方差矩阵的对角化，KL变换，将特征值较大的保存下来。

给定一个矩阵$X\in R^{m\times n}$，例如

$$X=\begin{bmatrix} a_1 &a_2 &\cdots &a_n \\ b_1 &b_2 &\cdots & b_n \end{bmatrix}\: (1)$$
PCA的本质就是选择 $k<m$个正交基进行降维的同时又尽量保存原始的信息。即，使得 $A$变换到这组基后，使得行向量之间的协方差为0，而每个行向量的方差尽可能大。（这里一行代表一个数据，即使将多行的数据压缩成更少的行数，但是尽量保留了原始的信息，非对角元上的2个协方差$\frac{1}{n}\sum_{i=1}^{n}a_ib_i$代表行与行之间的相关性，所以相关性越小越好；对角元上的方差 $\frac{1}{n}\sum_{i=1}^{n}a_i^2$、 $\frac{1}{n}\sum_{i=1}^{n}b_i^2$越大越好）

2、协方差矩阵(对称半正定)

$$C_X=\frac{1}{n}XX^T=\begin{bmatrix} \frac{1}{n}\sum_{i=1}^{n}a_i^2 & \frac{1}{n}\sum_{i=1}^{n}a_ib_i\\ \frac{1}{n}\sum_{i=1}^{n}a_ib_i & \frac{1}{n}\sum_{i=1}^{n}b_i^2 \end{bmatrix}\: (2)$$
注意：这里的n是列数

3、PCA问题实例

假设$Y=QX$($Q$是方阵)，则对角化$Y$，令

$$C_Y=\frac{1}{n}YY^T=QC_XQ^T$$
而
$$C_X=U\Lambda U^T\Rightarrow \Lambda=U^TC_XU$$
其中 $U=[u_1,...,u_n]$是特征向量矩阵

所以，令$Q=U^T$实现对$C_Y$的对角化。
(1)

$$X=\begin{bmatrix} -1 & -1 & 0 & 2 & 0\\ -2 & 0 & 0 & 1 & 1 \end{bmatrix}$$
$$C_X=\begin{bmatrix} \frac{6}{5} & \frac{4}{5} \\ \frac{4}{5} & \frac{6}{5} \end{bmatrix}$$
其中， $X$是原始数据，$C_X$根据公式 $(2)$计算得出。
(2)根据 $C_Xx=\lambda x$得出 $C_X$的特征值: $\lambda_1=2,\lambda_2=2/5$，所以特征向量为 $$u_1=\begin{bmatrix} \frac{1}{\sqrt{2}}\\ \frac{1}{\sqrt{2}} \end{bmatrix}$$

$$u_2=\begin{bmatrix} -\frac{1}{\sqrt{2}}\\ \frac{1}{\sqrt{2}} \end{bmatrix}$$
因此, $$U=\begin{bmatrix} u_1 & u_2 \end{bmatrix}=\begin{bmatrix} \frac{1}{\sqrt{2}} & -\frac{1}{\sqrt{2}}\\ \frac{1}{\sqrt{2}} & \frac{1}{\sqrt{2}} \end{bmatrix}$$ 则
$$U^T=\begin{bmatrix} \frac{1}{\sqrt{2}} & \frac{1}{\sqrt{2}}\\ -\frac{1}{\sqrt{2}} & \frac{1}{\sqrt{2}} \end{bmatrix}$$
所以， $$Q=U^T=\begin{bmatrix} \frac{1}{\sqrt{2}} & \frac{1}{\sqrt{2}}\\ -\frac{1}{\sqrt{2}} & \frac{1}{\sqrt{2}} \end{bmatrix}$$
此时，对角化了 $C_Y$,未降维。
(3)降维(2行数据降到1行数据，按照 $\lambda$从大到小取)
这里取 $Q$的第一行，即对应$U$的第一列数据 $u_1$，即对应着最大的 $\lambda_1=2$
$$\begin{bmatrix} \frac{1}{\sqrt{2}} & \frac{1}{\sqrt{2}} \end{bmatrix}X=\begin{bmatrix} -\frac{3}{\sqrt{2}} & -\frac{1}{\sqrt{2}} & 0 & \frac{3}{\sqrt{2}} & -\frac{1}{\sqrt{2}} \end{bmatrix}$$

总结：对数据$X$的协方差矩阵$C_X$进行变换(左边$Q$,右边$Q^T$以维持等式不变)，变换过程得到$C_Y$对角矩阵。即原始的数据$X$经过变换过程$Q$也可以得到对角矩阵，此时的结果使得行与行之间相关性变小，对角元数据方差尽可能大。