Andrew Ng机器学习课程笔记（十七）之无监督学习之主成份分析与降维

Preface

Principal Components Analysis（主成份分析）

Principal Components Analysis

我们在上一篇文章中说讲述的 Andrew Ng机器学习课程笔记（十六）之无监督学习之因子分析模型与EM算法的因子分析是基于概率模型对样例的个数$m$都小于其特征个数$n$，甚至样例的个数$m$都远远小于其特征个数$n$情况的处理。 这里我们将使用一种改进的因子分析方法PCA来解决问题（PCA以前也叫做Principal Factor Analysis,PFA）。

Problem

对于给定的数据集$S=\{x^{(i)}\in \mathbb R^{n};i=1,...,m\}$，我们希望得到一个更低维的数据集合$S^{'}=\{x^{(i)}\in \mathbb R^{k};i=1,...,m;k<n\}$。

Normalize Mean and Variance

1. 置均值$\mu=0$，$\mu=\frac{1}{m}\underset{i=1}{\overset{m}{\sum}} x^{(i)}$；
2. 用$x^{(i)}-\mu$替换$x^{(i)}$；
3. 置方差$\sigma^2_j$为单位向量，$\sigma^2_j=\frac{1}{m}\sum_{i=1}^{m}(x_{j}^{(i)})^{2}$；
4. 用$x^{(i)}_j/\sigma_j$替换每一个$x^{(i)}_j$；

在上述过程中步骤1-2完成将样本数据均值置0；步骤3-4完成将样本数据方差置1；使得数据保持统一规格。值得一提的是：当数据本身就是同一规格时，步骤3-4可以忽略。

For Example

我们现在以二维数据到一维数据的例子来说明：
假设我们已经对数据集$S=\{x^{(i)}\in \mathbb R^{n};i=1,...,m\}$进行了规范化处理，所以有：

我们将数据集中的数据投影到一三象限的角平分线上，可以看出投影后的数据有较大的方差。

我们将数据集中的数据投影到二四象限的角平分线上，可以看出投影后的数据有较小的方差。

根据方差最大化理论，我们认为将数据投影到一三象限的角平分线上好，因为投影后的样本点之间方差大。

Principal Components Analysis

步骤一：规范化数据，即数据集$S=\{x^{(i)}\in \mathbb R^{n};i=1,...,m\}$中的每一个样本$x^{(i)}$满足均值为零，且有单位方差。
步骤二：向某一个特定方向的单位向量$u$投影，使得投影之后的样本方差最大。
所以投影样本数据可以表示为：

$$\begin{aligned} x^{(i)^{T}}u \end{aligned}$$
由于投影后均值为 0，投影之后的样本方差可以表示为：

$$\begin{aligned}\frac{1}{m}\underset{i=1}{\overset{m}{\sum}} (x^{(i)^{T}}u)^{2}&=\frac{1}{m}\underset{i=1}{\overset{m}{\sum}}u^{T}x^{(i)}x^{(i)^{T}}u\\&=u^{T}(\frac{1}{m}\underset{i=1}{\overset{m}{\sum}}x^{(i)}x^{(i)^{T}})u \end{aligned}$$
步骤三：在投影之后的样本方差公式中的中间那部分是样本特征的协方差矩阵 （当$x$的均值为 0 时，一般协方差矩阵都除以 m‐1，这里用 m）。
令$Σ=\frac{1}{m}\underset{i=1}{\overset{m}{\sum}}x^{(i)}x^{(i)^{T}}$，$λ=u^{T}(\frac{1}{m}\underset{i=1}{\overset{m}{\sum}}x^{(i)}x^{(i)^{T}})u$，所以使得投影之后的样本方差最大的目标问题可以表示为：
$$\begin{aligned} \text{arg}\;\;\underset{\theta}{\text{max}}\;\;λ=u^{T}\Sigma u \end{aligned}$$
步骤四： 由于$u$是单位向量，即$|u|=uu^{T}=1$。所以：
$$\begin{aligned} uλ=uu^{T}\Sigma u\\ uλ=\Sigma u\\ \Sigma u=λu\\ \end{aligned}$$
所以$λ$为$Σ$的特征值，$u$为$Σ$的特征向量。所以，最佳的投影直线是特征值$λ$最大时对应的特征向量，其次是$λ$第二大对应的特征向量，依次类推。
所以：
步骤五：因此，我们只需要对协方差矩阵$Σ$进行特征值分解，得到的前$k$大特征值对应的特征向量就是最佳的$k$维新特征，而且这$k$维新特征是正交的。得到前$k$个$u$以后，样例$x$通过以$y^{(i)}$下变换可以得到新的样本。
$$\begin{aligned} y^{(i)}=\begin{bmatrix}u_{1}^{T}x^{(i)}\\ u_{2}^{T}x^{(i)}\\ \vdots\\u_{k}^{T}x^{(i)} \end{bmatrix}\in\mathbb R^{k} \end{aligned}$$

对于步骤五我们还需要引入累计贡献率来论证：
由于协方差矩阵是正定矩阵，并且我们对特征值（假设有n个）按大小排序后，可以得到：

$$\begin{aligned} \lambda_1\ge\lambda_2\ge\lambda_3\ge...\ge\lambda_n\ge0 \end{aligned}$$
称$\lambda_i/\underset{i=1}{\overset{n}{\sum}}\lambda_{i}$为第$i$个主成份的贡献率。
称$\underset{i=1}{\overset{k}{\sum}}\lambda_{i}/\underset{i=1}{\overset{n}{\sum}}\lambda_{i}$前k个主成份的累计贡献率。这个累计贡献率表示这$k$个主成份能够多大程度上代表原始数据。所以我们在步骤五中选择最大的$k$个特征值对应的特征向量来作为投影方向能够在尽可能的程度上代表原始数据。