数据降维方法之PCA

降维的概述

降维属于对数据的预处理，通过降低维度，降低数据的复杂性，识别最重要的多个特征。
常见的降维方法有：

• 主成分分析法（PCA）
• 因子分析（FA）
• 独立成分分析（ICA）

本文主要对PCA方法进行展开。

知识基础

均值、方差、协方差的定义：

PS:样本方差的期望并不是无偏的，要无偏估计，应该再乘上一个系数。N-1既为自由度，就是说，在一个容量为N的样本里，当确定了N-1个变量以后，第N个变量就确定了，因为样本均值是无偏的。
协方差除以N-1原理和方差一样，因为方差为协方差的特殊情况。

特征值和特征方向的定义：

对于矩阵 A，若满足 Aζ=λζ，则称 ζ是矩阵 A 的特征向量，而 λ 则是矩阵 A的特征值。将特征值按照从大到小的顺序进行排序，选择前 k个特征值所对应的特征向量即为所求投影向量。
对于特征值与特征向量的求解，主要是：特征值分解（当 A为方阵时），奇异值SVD分解（当 A 不为方阵时）

求最大协方差的原理