进行数据分析时,原始数据通常多而杂,直接用并非一个好做法,往往费力不讨好。
通常可以使用数据降维的方法处理数据,然后再进行下一步。主成分分析(PCA)就是一个常用的降维方法。
概念
主成分分析(Principal Component Analysis,PCA)是一种统计方法,通过正交变换将一组存在相关性的变量转换为一组线性无关的变量,转换后的这组变量就是主成分。
转换后的变量个数一般小于转换前,这就起到了降维、去噪的作用。此外主成分分析还可以用作加密,因为转换之前的变量都是有具体意义的,转换以后的变量没有意义,起到了隐藏信息的目的。
PCA不仅是机器学习领域的概念,还是统计学领域的概念。
举个最简单的例子,有如上图的样本,每个样本都是一个二维变量。可以看出样本的x坐标和y坐标是存在一定正相关的。
将坐标轴变为蓝色和黄色直线,重新计算x坐标和y坐标,则新的x坐标和y坐标的相关性就不存在了。这就是主成分分析的过程,变换坐标系的过程就是所说的正交变换,新的坐标系必须正交。
主成分分析的具体实现,有特征值分解、奇异值分解、梯度下降等方法,本文说一下最常用的特征值分解。
变换过