主成分分析(PCA)

一、主成分分析：

首先确定第一主成分方向，它是向量散度投影最大的方向；再确定第二主成分：在所有垂直第一主成分的方向中，选取散度投影最大的那个方向；第三主成分，垂直第一、二主成分，并且散度最大.....

PCA的目标：投影之后的散度最大，散度由方差进行刻画。

即降维的优化目标是：将一组N维向量降维K维（0<K<N），其目标是选择K个单位(模为1)正交基，使得原始数据变换到这组基上后，各字段两两间协方差为0，而字段的方差则尽可能大(在正交的约束下，取最大的K个方差)。

协方差矩阵

PCA本质上是将方差最大的方向作为主要特征，并且在各个正交方向上将数据“离相关”，也就是让它们在不同方向上没有相关性。

二、PCA推导

2.1 基于最大投影方差