PCA、K-L散度入门-看这一篇就足够了

参考博客：https://blog.csdn.net/program_developer/article/details/80632779

一、背景知识：

数据集中的样本往往有n维特征（n非常大），因此造成了训练样本集的时候时间代价非常大，此时要对n维特征进行降维，去提高效率。

二、降维的方法：

特征选择：

特征提取：PCA（主成分分析）、SVD（奇异值分解）、K-L变换。

三、PCA原理及例子

3.1 PCA的概念
PCA(Principal Component Analysis)，即主成分分析方法，是一种使用最广泛的数据降维算法。

PCA的主要思想是：将n维特征映射到k维上，这k维是全新的正交特征也被称为主成分，是在原有n维特征的基础上重新构造出来的k维特征。

PCA的工作就是：从原始的空间中顺序地找一组相互正交的坐标轴（两两相乘为0，如空间直角坐标系），新的坐标轴的选择与数据本身是密切相关的。其中，第一个新坐标轴选择是原始数据中方差最大的方向，第二个新坐标轴选取是与第一个坐标轴正交的平面中使得方差最大的，第三个轴是与第1,2个轴正交的平面中方差最大的。依次类推，可以得到n个这样的坐标轴。通过这种方式获得的新的坐标轴，我们发现，大部分方差都包含在前面k个坐标轴中，后面的坐标轴所含的方差几乎为0。于是，我们可以忽略余下的坐标轴，只保留前面k个含有绝大部分方差的坐标轴。事实上࿰