机器学习中的降维方法——主成分分析(PCA)与核主成分分析(KPCA)原理详解

PCA是一种常用的数据分析方法。PCA通过线性变换将原始数据变换为一组各维度线性无关的表示,可用于提取数据的主要特征分量,常用于高维数据的降维。 这样做的好处是数据的主要信息还能保留下来,同时数据的维度降低了,并且变换后的维度两两不相关。

为什么需要PCA?

我们知道维数越大通常越难处理,在机器学习中,得到的数据维数通常都很高,处理起来比较麻烦,资源消耗很大,因此对数据进行降维处理是很必要的。
但是降维就意味着信息丢失吗？多少是有一点的。但是总有一些情况,让我们能够在信息损失相对较少的同时完成降维。比如:
1.如果某两个特征之间存在关联。举个比较极端的的例子，一个正方形的边长和它的面积，各属于两个特征，但是知道了边长面积肯定是确定的，那么就可以直接丢掉一列(边长或面积)。
2.如果某个维度存在并没有什么价值。这里举个比较经典的例子，就是电视转播球赛，把现场的三维转成平面的二维呈现在你眼前，减少了一维但是对于观众来说，并无太大影响。
3…
通过减少冗余信息,降低了维度,让数据处理更加容易,而有大部分有价值的信息都保留下来。而到底哪些信息是重要的？哪些可以删去？在这里需要注意,降维并不是简单的删除某个维度,大部分情况下,降维的同时基也改变了。 那么如何选择新的基就是PCA需要解决的问题。

理论基础

向量的表示及基变换

内积与投影

两个维数相同的向量的内积被定义为:
(