8.11 实例：主成分分析

主成分分析（principal components analysis,PCA）是一个简单的机器学习算法，可以通过基础的线性代数知识推导。
假设在$\mathbb R^n$空间中我们有$m$个点$\{x^{(1)},\dots,x^{(m)}\}$，我们希望对这些点进行有损压缩。有损压缩表示我们使用更少的内存，但损失一些精度去存储这些点。我们希望损失的精度尽可能少。
一种编码这些点的方式是用低维表示。对于每个点$x^{(i)}\in\mathbb R^n$，会有一个对应的编码向量$c^{(i)}\in\mathbb R^l$。如果$l$比$n$小，那么我们便使用了更少的内存来存储原来的数据。我们希望找到一个编码函数，根据输入返回编码，$f(x)=c$；我们也希望找到一个解码函数，给定编码重构输入，$x\approx g(f(x))$。
PCA由我们选择的解码函数而定。具体地，为了简化解码器，我们使用矩阵乘法将编码映射回$\mathbb R^n$。即 g(c)