PAC最大方差理论。如何定义主成分？从这种定义出发，如何设计目标函数使得降维达到提取主成分的目的？针对这个目标函数，如何对PAC问题进行求解？

场景描述：

在机器学习领域中，我们对于原始数据进行特征提取，有时会得到比较高维的向量。在这些向量所处的高维空间中，包含很多的冗余和噪声。我们希望通过降维的方式来寻找数据内部的特征，从而提升特征的表达能力，降低训练复杂度。主成分分析（Principai Components Analysis,PAC)作为降维中最经典的方法，至今已经有100多年历史。他属于一种线性，非监督，全局的降维算法。

如何定义主成分？从这种定义出发，如何设计目标函数使得降维达到提取主成分的目的？针对这个目标函数，如何对PAC问题进行求解？

PAC旨在找到数据中的主成分，并利用这些主成分表征原始数据，从而达到降维的目的。

举一个简单的例子，在三维空间中有一系列数据点，而这些点分布在一个过原点的平面上。如果我们用自然坐标系来表示数据，就需要3个维度。而实际上这些数据只出现在一个二维平面上，如果我们通过坐标变化，可以用2个维度来表示数据，并且没有任何损失，这样就完成了数据的降维。而这2个轴所包含的信息就是我们要找到的主成分。

 

 

。。。。。省略  细节暂时不太懂

 

得到几种pca求解方法：

1.对样本数据进行中心化处理。

2.求样本协方差矩阵

3.对协方差矩阵进行特征值分解，将特征值从大到小排列。

4.取特征值前d大对应的特征向量w1,w2,.....wd,通过一下映射将N维样本映射到d维

新的xi第d维就是xi在d个主成分wd方向上的投影，通过选取最大的d个特征值对应的特征向量，我们将方差较小的特征（噪声）抛弃，使得每个n维列向量映射维d维列向量xi.