PCA(principal Component Analysis),即主成分分析方法,是一种使用最广泛的数据降维算法。PCA的主要思想是将n维特征映射到k维上,这k维是全新的正交特征也被称为主成分。是在原有的n维特征的基础上重新构造出来的k维特正,而不是大家误认为的从n维特征中选取k个。
PCA有最大方差理论和最小平方误差理论两种解释方式,本文是从最大方差理论角度出发。在信号领域认为信号具有较大的方差比,越大越好。因此我们认为,最好的k维特征是将n维样本点变换k维后,每一维上的样本方差都尽可能大。
PCA的工作就是从原始的空间中顺序的找一组相互正交的坐标轴,新坐标轴的选择与数据本身密切相关。其中第一个新坐标轴选择是原始数据中方差最大的方向,第二个新坐标轴选取是与第一个坐标轴正交平面中使得方差最大的。第三个坐标轴是与第一、第二坐标轴正交平面中方差最大的。依次类推,可以得到n个这样的坐标轴。我们发现,大部分方差都包含在前面k个含有绝大部分方差的坐标轴中,后面的坐标轴所含方差基本为0.于是我们可以忽略余下的坐标轴,只保留前k个含有绝大部分方差的坐标轴。事实上,这相当于只保留绝大部分方差的维度特征,而忽略包含方差几乎为0的特征维度,实现对数据的降维处理。下面我们从数学的角度来证明如何获得这些新的坐标轴方向。
首先考虑一维空间上的投影。我们可以使用n维向量μ定义这个空间方向。为了方便不失一般性,我们假定选择了一个单位向量,从而
我们只对其方向感兴趣,不关注其大小。
机器学习之主成分分析(PCA)
最新推荐文章于 2024-06-15 17:26:32 发布