PCA：主成分分析

本文的参考文章：【机器学习】降维——PCA（非常详细）

1. 介绍

又称主分量分析技术，旨在利用降维的思想，把多指标转化为少数几个综合指标。比如对于WINE数据集总共有178个样本，每个样本有13个属性，有1个分类标签。那么我们可以猜测是否这13个属性都能对我们的分类提供帮助，是否存在某些属性是在划水？如果能把这些属性降维能够帮助我们降低数据量。

本文作为PCA降维的理论部分，在aistudio平台我也制作了对WINE降维的小demo，代码只有几十行，可以直接运行试试
对WINE数据集PCA降维

2. 矩阵的内积

对于向量内积$Y=PX$代表$X$在经过$P$的变换下，变换到了新的空间中去，值为$Y$。

3. 协方差和协方差矩阵

协方差公式：
$$Conv(a,b)=\frac{1}{m-1}\sum _{i=1}^m(a_i-{\mu }_a)(b_i-{\mu }_b)$$
对于a和b在计算时，会减去各自的均值，在实际应用中我们会j讲数据a和b进行标准化，即标准化到均值=0，方差=1，因为在这里就可以看出均值=0的好处，所以如果你使用了数据标准化，上式就可以写成如下：
$$Conv(a,b)=\frac{1}{m}\sum _{i=1}^m{a}_i{b}_i$$

（当协方差为0时，表示两个变量完全独立。为了让协方差为0，问选择第二个基时只能与第一个基正交的方向上进行，因此最终选择的两个方向一定是正交的。）

对于a和b如果能够投影到新的空间时是投影到不同的坐标轴上，那么他们就是正交的，协方差一定为0。

就比如当你的向量$X$投影到$P=\left(\begin{array}{lc}1& 0\\ 0& 1\end{array}\right)$的空间上（或者对$X$做P变换），实际就是将X在笛卡尔直角坐标系中做分解，分别在X轴上和Y轴上映射。那么在X轴上和Y轴上的量协方差一定为0，所以在选择基（也就是P）时，各个基一定正交，则变换后的X各个分量也就一定正将，其协方差为0

哪么我们为什么要讨论协方差？
我们指导协方差是度量两个量的相关性，正如我们的WINE数据集，每个样本有13个属性，则是否这些属性中某些属性存在相关性？假设属性a和属性b存在相关性，a和b的变化一致，那我只需要取a或者b其中一个来帮助我描述数据即可啊。那么数据集中任意两个属性的协方差都为0，表示任意两个属性都是不相关的，是有各自特征谁也代替不了的。所以我们的目标就是把属性之间能够相互代替的找出来并使用其中一个来代表即可。

现在假设数据集$X$有a和b两个属性，则：
$$X=\left(\begin{array}{lccc}{a}_1& a_2& ...& a_m\\ b_1& b_2& ...& b_m\end{array}\right)$$，我们按如下凑出$Conv$的表达式，令C为X的协方差矩阵：
$$\frac{1}{m}X{X}^T=\left(\begin{array}{lc}\frac{1}{m}{\sum }_{i=1}^m{a}_i^2& \frac{1}{m}{\sum }_{i=1}^m{a}_i{b}_i\\ \frac{1}{m}{\sum }_{i=1}^m{a}_i{b}_i& \frac{1}{m}{\sum }_{i=1}^m{b}_i^2\end{array}\right)=\left(\begin{array}{lc}Conv(a,a)& Conv(a,b)\\ Conv(b,a)& Conv(b,b)\end{array}\right)$$
注意：$Conv(a,a)$即为协方差的特殊形式，即a的方差
此时我们可以看出，因为我们希望X的不同属性之间的协方差（非对角线）为0（代表属性之间不相关），相同属性之间的协方差（对角线）越大越好。于是我们希望对角线的值越大，非对角线的值为0，那么应该如何去变换？

4. 矩阵对角化

假设我们已经找到了变换矩阵$P$，使得$Y=PX$，因为我们希望对原始数据$X$变换后的$Y$，是理想的，即不同属性之间独立。那么意味着$Y$的协方差矩阵D应当是对角线大，但是非对角线为0，这就是对角矩。那么我们如何去变换去找到这个变换矩阵$P$？
我们已知：
$$\begin{gathered} Y=PX \\ C=\frac{1}{m}X{X}^T \end{gathered}$$
则：
$$\begin{gathered} D=\frac{1}{m}Y{Y}^T \\ =\frac{1}{m}PX(PX{)}^T \\ =\frac{1}{m}PX{X}^T{P}^T \\ =P\frac{1}{m}X{X}^T{P}^T \\ =PC{P}^T \end{gathered}$$

至此，我们明了了，直接找$P$不好找，但是在这里$P$是可以将X的协方差矩阵（实对称矩阵）变换为对角矩阵。

C为实对称矩阵，它有以下好的性质：

• 实对称矩阵的不同特征值对应的特征向量必然正交
• 设特征向量λ重数为 r，则必然存在 r 个线性无关的特征向量对应于λ ，因此可以将这 r 个特征向量单位正交化。

由上面两条可知，一个 n 行 n 列的实对称矩阵一定可以找到 n 个单位正交特征向量，设这 n 个特征向量为$(e_1,e_2,...,e_n)$ ，我们将其按列组成矩阵$E=(e_1,e_2,...,e_n)$。则对实对称矩阵C有如下结论：
$$E^{T}CE=\Lambda =\left(\begin{array}{lccc}{\lambda }_1& & & \\ & {\lambda }_2& & \\ & & ...& \\ & & & {\lambda }_n\end{array}\right)=D$$
λ为特征值，从大到小排序。
而：
$$PC{P}^T=D$$
故得到$P$：
$$P=E^T$$

至此$P$已经得解。

5. 如何降维（使用$P$）？

我们得到了$P=E^T$，如果我们想要将$X$经$P$转换到1维空间，那么我们将P中的第一个λ保留即可，转换到几维，就保留前几个λ。然后再计算$PX$即可得到最终的$Y$。

同时我们计算每个λ占总λ和的比例，可以看出每个λ对数据描述的贡献度。