8.11 实例：主成分分析

主成分分析（principal components analysis,PCA）是一个简单的机器学习算法，可以通过基础的线性代数知识推导。
假设在$\mathbb R^n$空间中我们有$m$个点$\{x^{(1)},\dots,x^{(m)}\}$，我们希望对这些点进行有损压缩。有损压缩表示我们使用更少的内存，但损失一些精度去存储这些点。我们希望损失的精度尽可能少。
一种编码这些点的方式是用低维表示。对于每个点$x^{(i)}\in\mathbb R^n$，会有一个对应的编码向量$c^{(i)}\in\mathbb R^l$。如果$l$比$n$小，那么我们便使用了更少的内存来存储原来的数据。我们希望找到一个编码函数，根据输入返回编码，$f(x)=c$；我们也希望找到一个解码函数，给定编码重构输入，$x\approx g(f(x))$。
PCA由我们选择的解码函数而定。具体地，为了简化解码器，我们使用矩阵乘法将编码映射回$\mathbb R^n$。即$g(c)=Dc$，其中$D\in \mathbb R^{n \times l}$是定义解码的矩阵。
目前为止所描述的问题，可能会有多个解。因为如果我们按比例地缩小所有点对应的编码向量$c_i$，那么我们只需按比例放大$D_{:,i}$，即可保持结果不变。为了使问题有唯一解，我们限制$D$中所有列向量都有单位范数。
计算这个解码器的最优编码可能是一个困难的问题。为了使编码问题简单一些，$PCA$限制$D$的列向量彼此正交（注意，除非$l=n$，否则严格意义上$D$不是一个正交矩阵）。
为了将这个基本想法变为我们能够实现的算法，首先我们需要明确如何根据每一个输入$x$得到一个最优编码$c^*$。一种方法是最小化原始输入向量$x$和重构向量$g(c^*)$之间的距离。我们使用范数来衡量它们之间的距离。在PCA算法中，我们使用$L^2$范数：

$$c^*=\arg\min_c||x-g(c)||_2$$
我们可以用平方 $L^2$范数替代 $L^2$范数，因为两者在相同的值 $c$上取得最小值。这是因为$L^2$范数是非负的，并且平方运算在非负值上是单调递增的。
$$c^*=\arg\min_c||x-g(c)||_2^2$$
该最小化函数可以简化成
$$(x-g(c))^\mathrm T(x-g(c))$$
（式 $L^2$范数的定义）
$$=x^\mathrm Tx-x^\mathrm Tg(c)-g(c)^\mathrm Tx+g(c)^\mathrm T g(c)$$
（分配率）
$$=x^\mathrm Tx-2x^\mathrm Tg(c)+g(c)^\mathrm T g(c)$$
（因为标量 $g(c)^\mathrm Tx$的转置等于自己）
因为第一项 $x^\mathrm Tx$不依赖于 $c$，所以我们可以忽略它，得到如下的优化目标：
$$c^*=\arg\min_c - 2x^\mathrm Tg(c)+g(c)^\mathrm T g(c)$$
更进一步，我们代入 $g(c)$的定义：
$$c^*=\arg\min_c-2x^\mathrm TDc+c^\mathrm TD^\mathrm TDc\\ =\arg\min_c-2x^\mathrm TDc+c^\mathrm TI_lc$$
（矩阵 $D$的正交性和单位范数约束）
$$=\arg\min_c-2x^\mathrm TDc+c^\mathrm Tc$$