PCA算法原理
主成分分析(Components Analysis,PCA)是机器学习中最经典的降维方法,也是面试中的家常便饭,因而有必要认真梳理一遍PCA的原理,甚至需要手动推导一遍。
文章目录
数据降维
在理解PCA的概念之前,我们先来认识一下什么是数据降维。降维就是用低维度的向量来表示原始高维度的特征。
例如:三维空间中分布在同一个平面上的一些点,用x,y,z三个轴来表示,就需要三个维度;而实际上,因为这些点是分布在一个平面上的,所以可以通过坐标系的旋转变换使得只需要x,y两个轴来表示这些点的数据关系,而且不会有任何损失,从而达到数据降维的目的。
降维的作用: 1.增大样本密度,可以缓解维数灾难
2.减小计算开销
3.去噪
PCA概念
PCA是数据降维的一种方式,旨在找到数据中的主成分,并利用这些主成分来表征原始数据。简单地说,就是将n维的特征映射到k维上(k<n),这k维的正交特征,就是主成分。</