PCA主成分分析

PCA主成分分析

给定一组数据  { $x_1,x_2,...,x_n$}

预处理

 将每一维特征的均值中心化，方差归一化

1. $u=\frac{1}{n}{\sum }_{i=1}^n{x}_i$    // $u$就是数据中心
2. {$x_1,x_2,...,x_n$} = {$x_1-u,x_2-u,...,x_n-u$}    // 数据中心化：将坐标原点移到数据的中心点：            其中： u = { u 1 , u 2 , . . . , u m } T u=\lbrace u_1,u_2,...,u_m\rbrace^T u={u1​,u2​,...,um​}T，是一个$n$维列向量。
3. ${\sigma }_j^2=\frac{1}{m}{\sum }_j(x_i^j)$
4. $x_i^j=x_i^j/{\sigma }_j$

PCA的数学目标

  特征的主方向，就是特征幅度变化最大的方向。为了找到特征变化最大的方向，假设单位方向矢量$u$，则特征点$x$在$u$方向上的投影点$x^{’}$距离原点的距离$d=x^{T}u$。所有的样本点都在一个方向上投影后，它们就都在同一直线上了。
  要比较它们之间变化的程度，只要比较$d$的方差就行了。方差最大的$u$对应的方向就是要找的主方向。

注：方差计算：

  因此，目标函数就成了：
$$\begin{gathered} ma{x}_u\frac{1}{n}\sum _{i=1}^n(x_i^{T}u{)}^2 \\ =ma{x}_u\frac{1}{n}\sum _{i=1}^n{u}^T{x}_i{x}_i^{T}u \\ =ma{x}_u{u}^T(\frac{1}{n}\sum _{i=1}^n{x}_i{x}_i^T)u \end{gathered}$$
  其中$x_i$表示第$i$个样本，$n$表示样本总数。（因为$x$已中心化，所以$x_i^{T}u$的均值也是0，因此$x_i^{T}u$的平方之和就是方差）
  上式括号中的一项非常熟悉，就是协方差矩阵$\sum$，再看上面的式子，协方差矩阵与投影的方向无关，只与样本有关。因此协方差矩阵完全决定了数据的分布情况。
  所以目标函数如下：
$$\begin{gathered} ma{x}_u{u}^T\sum u \\ s.t.u^{T}u=1 \end{gathered}$$
  利用拉格朗日乘子法可求解上面的最大化问题：
$$\sum u=\lambda u$$
由上，$u$就是$\sum$的特征向量，$\lambda$就是特征值。带入目标函数得：
$$ma{x}_u{u}^T\sum u=ma{x}_u{u}^T\lambda u=ma{x}_u\lambda u^{T}u=ma{x}_u\lambda$$
所以，可以通过协方差矩阵的迹来衡量方差的大小。最大的特征值$\lambda$对应的特征向量$u$决定了数据变化最大的方向。$u$就是要求的单位向量。
因此，PCA的求解过程就是对协方差矩阵进行特征值分解，并且找到最大的几个特征值的过程。