理解PCA

0.精简

<1>数据投影越分散的方向，代表数据差异越大，即特征越明显。
<2>方差可以用来代表分散程度，协方差用于保证不同方向的正交性。
<3>协方差矩阵的对角化可以达到在变换方向方差最大，且协方差为0,即保证正交。

1.PCA用途

PCA全称Principal Component Analysis，即主成分分析。其通过 线性变换，将原始数据变换为一组 线性无关(基)的表示。从而提取数据的主要分量。

Z=XP

2.思路

<1> 基本想法： 根据线性变换，一组数据可以由不同的基表示，其中一组基内部各自正交，且为单位向量。 PCA的基本思路是，需找一组正交基P，使得这组基的转换矩阵将原始数据转换到新的空间后，数据在基上的投影尽量分散，也即认为数据分散的方向代表差异更大，能够更好的刻画数据本身的特征。

<2>实现方法 ： 方差 可以用于表示数据的离散度。因此可按照原始数据方差的大小，来需找新的基的方向。同时为了保证正交需求，可利用协方差来约束，当各基之间的协方差为0时，代表线性无关，即相互正交。
假设原始数据特征维度为2,分布为a，b。m*n的数据样本矩阵X为：

$\left[\begin{array}{cc}a1& b1\\ a2& b2\\ a3& b3\end{array}\right]$

X的每一行代表一个样本，每列代表一个原始特征维度。假设原始数据已经经过处理，使得每一列的特征均值为0。则 协方差矩阵D

D = 1 m − 1 X T X = 1 m − 1 [ ∑ i = 1 m a i 2 ∑ i = 1 m