主成分分析(Principal Component Analysis, PCA)
PCA是一种最常用的降维方法,通常用于高维数据集的探索与可视化,还可以用作数据压缩和预处理。PCA可以把具有相关性的高维变量合成为线性无关的低维变量,成为主成分。主成分能够尽可能保留原始数据的信息。
相关术语:
方差(variance)
方差是各个样本和样本均值的差的平方和的均值,用来度量一组数据的分散程度。
s 2 = ∑ i = 1 n ( x i − x ) 2 n − 1 {
{s}^{2}}=\frac{\sum\nolimits_{i=1}^{n}{
{
{\left( {
{x}_{i}}-x \right)}^{2}}}}{n-1} s2=n−1∑i=1n(xi−x)2
协方差(covariance)
用于度量两个变量之间的线性相关性程度,若两个变量的协方差为0,则可以认为二者线性无关。协方差矩阵则是由变量的协方差值构成的矩阵(对称阵)。
c o v ( X , Y ) = ∑ i = 1 n ( X i − X ˉ ) ( Y i − Y ˉ ) n − 1 cov\left( X,Y \right)=\frac{\sum\nolimits_{i=1}^{n}{\left( {
{X}_{i}}-\bar{X} \right)\left( {
{Y}_{i}}-\bar{Y} \right)}}{n-1} cov(X,Y)=n−1∑