PCA主成分分析（降维）

OpenCV中使用：http://blog.csdn.net/qq_17242837/article/details/67654845（PCA实现图片降维分类预处理）

参考：http://blog.csdn.net/eternity1118_/article/details/51721099

降维：

• 把高维（D维）输入减少成低维输入（K维），（K<<D）。降维后的数据可以看做隐含结构特征，并且去除噪声干扰
• 是一种预处理方法，不是模型预测方法
• 适用于维度很高的数据，如图像、视频、文本、音频
• 主要方法有PCA（主成分分析）和SVD

我的理解是，通过降维得到基本特征可以加快学习算法。并且由于降维后的数据本身就是正交的，和聚类一样可以实现分类、识别问题。在自我学习中也可以采用大量无标注的图像，对这些图像降维分类，并结合部分编码数据得到特征。

例如：将很2500张人脸图片信息，通过2500*像素数降维到10*像素数，则这十张图片就是这所有图片中最基本的特征分类，任何一张图片可以通过投影到这十张图片对比相似度。

图中矩阵表示N个样本由D维降到K维，Y=XW

向量乘一列相当于投影，投影出来的方差最大，则信息可分辨越强（选取Y（XW）的二次范数最大）

数据是投影到W向量中，因此W矩阵必须是正交的，即W的范数=1。正交变换保证了新特征之间的不相关性，并且变换前后特征尺度保持不变。

根据矩阵乘法，原式中间部分相乘，为一对称矩阵。原式就成了正交变换，将式子化成标准型。

通过计算的特征值特征向量求得W，带回Y=XW中使用。

聚类也是一种降维，另外在神经网络中还有autocodeer自编码。