机器学习非监督分类之主成分分析（PCA）

主成分分析是非监督分类中基础的算法，应用于降低特征的维度。

在介绍主成分分析之前，我们要先介绍一下特征值和特征向量，因为在后面我们要用到。

一、特征值和特征向量

特征值

如果有

此时γ为矩阵A的特征值，对应的X为矩阵的特征向量。对于不相同的特征值，其特征向量是正交的。

二、主成分分析

算法：

首先将X进行预处理；

1、计算X的期望E（X）；

2、计算D = E（x-E(x)）；

3、计算xj = xj/Djj, 得到新的X。

4、对X进行奇异值分解，选择前m个奇异值得到A的近似矩阵；

4、或者求X的特征值，将X的特征值进行大到小排列，选择前m个，有个准则q前特征值的和占总的85%以上就说明，从原图中能好的继承，由前m个特征值对应的特征向量构成降维矩阵。

三、主成分分析的优缺点：

优点：

缺点：

待补充