7. 主成分分析 PCA

7. 主成分分析 PCA

---

• pdf版本下载：https://pan.baidu.com/s/1bKDYAa
• html版本下载：https://pan.baidu.com/s/1o7H7DsI

  主成分分析（Principal Component Analysis）属于非监督学习，是特征降维中最老牌的算法之一，应用十分广泛。特别是在现在深度学习进行特向特征提取的过程中，往往由于原始特征过于复杂需要进行降维处理。

---

1 降维的原因

• 原因：

  • 1.使得数据更容易显示，更容易理解
  • 2.降低算法的计算开销
  • 3.去除噪声
     

• PCA的过程就是将高维的数据投影到较低维的空间上，所以它不同于特征选择，通过PCA提取得到的特征是原始特征的线性组合。而其中的提取规则如下

---

2 PCA降维原理

  在信号处理中认为信号具有较大的方差，噪声有较小的方差，信噪比就是信号与噪声的方差比，越大越好。例如上面的图中，我们需要把二维平面上的数据点降到一维，显然数据点在$u_1$方向上的投影方差较大，因此对所有的数据点具有较好的区分效果。所以，一般地，当我们需要把n维的数据降维降到k维时，就需要数据在这k维上都具有较好的区分度（较大的方差）。

• 假设数据集：$D = \{x_1,x_2,..,x_m\}$，每个数据的维数 $d$
  假设需要降低到 $k$ 维。

• 步骤：

  • 1.对所有数据中心化：$x_i \leftarrow x_i - \frac{1}{m}\sum\limits_{t=1}^{m}x_t$
  • 2.计算样本的协方差矩阵：$XX^T$
  • 3.对$XX^T$做特征值分解
  • 4.取最大的k个特征值所对应的k个特征向量$w_1,..w_k$
  • 5.输出投影矩阵$W= (w_1,..,w_k)$

• 最后，这里的$k$如何确定呢？可以预先指定一个降维的主成分比例，即得到的k维数据满足：

$\frac{\sum\limits_{i=1}^{k} \lambda_i}{\sum\limits_{i=1}^{n} \lambda_i} \geq t \in (0, 1]$

---

3 公式推导

• 最近重构性：样本点到这个超平面的距离都足够近。

  • 假设数据 { x1<