算法公式推导——PCA

前言：关于主成分分析（Principle Component Analysis，PCA）的算法公式推导，文中若有写的不对的地方或者没写明白的地方，欢迎读者提出并交流。

1，算法定义

算法输入：一堆点集 $X=[x_1,x_2,...,x_m]，其中x_i\in {\mathbb{R}}^n,i=1,2,...,m$
算法输出： 一堆主向量 $z_1,z_2,...,z_k\in {\mathbb{R}}^n,k\le n$

问1：什么是最重要的主成分？
答1：一个方向，使得投影到该方向上的所有数据点的方差最大。

问2：如何获取第二重要的主成分？
答2：从原始的数据点中去掉最重要的主成分，即数据点减去投影后，再从中找到最重要的主成分。

问3：如何获取第三重要的主成分？
答3：重复上面的步骤。

2，算法步骤

• 1，将数据点规范化为0均值，因为我们只关心这堆数据点的方向。
  $$\tilde{X}=[{\tilde{x}}_1,{\tilde{x}}_2,...,{\tilde{x}}_m]，其中{\tilde{x}}_i=x_i-\frac{1}{m}\sum _{i=1}^m{x}_i，i=1,2,...,m$$

• 2，PCA的目的是找到一个方向$z\in {\mathbb{R}}^n$（其中$||z|{|}_2=1$），使得 $X$ （或者$\tilde{X}$）中的数据点投影到该方向后的方差最大（无论点云是否进行了去中心化操作，其向 $z$ 轴方向的投影不变）。

  • $\tilde{X}$中的点往$z$方向的投影为：${\tilde{x}}_i^{T}z$
  • 投影的均方差为：$\frac{1}{m}\sum _{i=1}^m({\tilde{x}}_i^{T}z{)}^2=\frac{1}{m}\sum _{i=1}^m({\tilde{x}}_i^{T}z{)}^T({\tilde{x}}_i^{T}z)=\frac{1}{m}\sum _{i=1}^m{z}^T{\tilde{x}}_i{\tilde{x}}_i^{T}z$
    为了后面书写方便，用符号$x_i$代替去中心后的点${\tilde{x}}_i$，因此投影均方差可写作：$\frac{1}{m}\sum _{i=1}^m{z}^T{x}_i{x}_i^{T}z$
  • 将投影均方差写成矩阵的形式有：$\frac{1}{m}\sum _{i=1}^m{z}^T{x}_i{x}_i^{T}z=m$