主成分分析（PCA)

一.理论基础

1.1 协方差与协方差矩阵

样本协方差，随机变量协方差，协方差矩阵

1.2 矩阵的迹

矩阵的迹及特性

1.3 矩阵的特征值，特征向量

矩阵特征值

二.PCA

主成分分析是最重要的降维方法之一，在数据压缩消除冗余和数据噪音等领域有广泛的引用。
选择一个超平面对 正交空间里的样本点进行有效的描述，需要注意两点：

• 最近重构性：样本点到这个超平面的距离都足够近
• 最大可分性： 样本点到这个超平面上的投影尽可能的分开

2.1 PCA 算法推导

2.1.1 基于最近重构性的推导

详细推导过程

对推导过程中式（5）到式（6）详细说明：
式（5）到式（6）： 式5 求解的结果为一个常数:$x^{(i)}为n\ast 1的向$， $x^{(i)T}$为1 * n, $z^{(i)}同理为n^{\prime }\ast 1$ , 式5的第一项展开即为：
− ( z ( 1 ) ∗ z ( 1 ) + z ( 2 ) ∗ z ( 2 ) . . . . + z ( m ) ∗ z ( m ) ) -(z^{(1)} * z^{(1)} + z^{(2)} * z^{(2)} ....+z^{(m)} * z^{(m)}) −(z(1)∗z