PAC

投影尽可能分散->方差最大

PCA（主成分分析），其实就是根据数据之间的相关性来降低数据的维度，也就是说删除数据中不必要的，保留必要的。在数据之间或许存在某些变化，能够使数据之间相互转换。

其中需要了解的数学知识：

 

 

当基的数量少于向量本身的维数，则可以达到降维的效果。那么如果选择最优基呢？

对于数据该怎么优化呢？

 

按行均值化为

 

现在问题来了：如果我们必须使用一维来表示这些数据，又希望尽量保留原始的信息，你要如何选择？

通过上一节对基变换的讨论我们知道，这个问题实际上是要在二维平面中选择一个方向，将所有数据都投影到这个方向所在直线上，用投影值表示原始记录。这是一个实际的二维降到一维的问题。

那么如何选择这个方向（或者说基）才能尽量保留最多的原始信息呢？一种直观的看法是：希望投影后的投影值尽可能分散。

以上图为例，可以看出如果向x轴投影，那么最左边的两个点会重叠在一起，中间的两个点也会重叠在一起，于是本身四个各不相同的二维点投影后只剩下两个不同的值了，这是一种严重的信息丢失，同理，如果向y轴投影最上面的两个点和分布在x轴上的两个点也会重叠。所以看来x和y轴都不是最好的投影选择。我们直观目测，如果向通过第一象限和第三象限的斜线投影，则五个点在投影后还是可以区分的。

希望投影后的值尽可能分散，在数学上用“方差”来表示分散程度。对字段（将向量的组成的矩阵的一行视为一个字段）进行方差化，即每个字段中的每个元素与字段的均值的差的平方和。

 

 

由于上面的数据已经均值化了，所以字段的均值为0，故可表示为：

 

于是，最优化问题可描述为：寻找一个一维的基，能够使向量在基上的投影值的方差最大。

上面所讨论的方差对于二维降为一维很实用，那对于更高维呢？不能将所有的基都表示为同一向量吧，这样的话信息损失很严重。此时，我们用到协方差。

数学上可以用两个字段的协方差表示相关性。由于字段的均值已经认为的化为0，则：

 

 

当协方差为0的时候，表示字段完全独立。为了让协方差为0，我们选择第二个基时只能在与第一个基正交的方向上选择。因此最终选择的两个方向一定是正交的。

此时，我们将目标转化为：将一组N维向量降为K维（K大于0，小于N），其目标是选择K个单位（模为1）正交基，使得原始数据变换到这组基上后，各字段两两间协方差为0，而字段的方差则尽可能大（在正交的约束下，取最大的K个方差）。

为了便于计算，引入协方差矩阵：

假设我们只有a和b两个字段，那么我们将它们按行组成矩阵X：

 

然后我们用X乘以X的转置，并乘上系数1/m：

 

这个矩阵对角线上的两个元素分别是两个字段的方差，而其它元素是a和b的协方差。两者被统一到了一个矩阵的。

将其推广到一般情况：

设我们有m个n维数据记录，将其按列排成n乘m的矩阵X，设

后面进行协方差矩阵对角化。基本上是数学上的理论知识。也是PAC算法的精华部分。