PRML读书笔记——连续潜在变量

这一章主要讲解PCA相关的技术

主成分分析

PCA可以被定义为数据在低维线性空间上的正交投影，这个线性空间被称为主⼦空间，使得投影数据的⽅差被最⼤化。下面从两个角度给出定义

最大方差形式

考虑⼀组观测数据集$\left \{ x_{n} \right \}$，其中$n= 1,...,N$，因此$x_{n}$是⼀个D维欧⼏⾥得空间中的变量。我们的⽬标是将数据投影到维度$M<D$的空间中，同时最⼤化投影数据的⽅差。

这里考虑$M=1$的情况，使用D维向量$u_{1}$定义这个空间的⽅向。不失一般性，把$u_{1}$当做单位向量，假定$u_{1}^{T}u_{1}=1$。这样，每个数据点$x_{n}$被投影到⼀个标量值$u^{T}_{1}x_{n}$上。投影数据的均值是$u^{T}_{1}\overline{x}$，其中，$\overline{x}$是样本集合的均值。那么，投影数据的方差为：

$$\frac{1}{N}\sum_{n=1}^{N}\left \{ u_{1}^{T}x_{n}-u_{1}^{T}\overline{x} \right \}^{2}=u_{1}^{T}Su_{1}$$

其中，S是协方差矩阵，有：

$$S=\frac{1}{N}\sum_{n=1}^{N}(x_{n}-\overline{x})(x_{n}-\overline{x})^{T}$$

现在我们关于$u_{1}$最⼤化投影⽅差$u_{1}^{T}Su_{1}$。其中，$u_{1}^{T}u_{1}=1$，它限制了$\left \| u_{1} \right \| \to \infty$。因此，这是一个等式约束的优化问题，采用拉格朗日乘子法，构造拉格朗日函数：

$$L(u_{1}, \lambda_{1})=u_{1}^{T}Su_{1}+\lambda_{1}(1-u_{1}^{T}u_{1})$$

对$u_{1}$求导，得到：

$$Su_{1}=\lambda_{1}u_{1}$$

显然，这里$u_{1}$就是S的特征向量，而$\lambda_{1}$是对应的特征值。也就是说，是方差最大的投影的基来自协方差矩阵的最大特征值对应的特征向量。

最小误差形式

下面从另一个角度推导PCA，会得到一样的结果。

我们引⼊D维基向量的⼀个完整的单位正交集合$\left \{ u_{i} \right \}$，其中$i = 1,...,D$，且满⾜:

$$u_{i}^{T}u_{j}=\delta _{ij}$$

那么，每个数据点可以精确地表⽰为基向量的⼀个线性组合

x