3.6 固定基函数的局限性（PRML读书笔记）

本节小结

  3.1-3.5节介绍了由固定基函数的线性组合组成的回归模型，这样的模型具有⼀些有⽤的分析性质和计算性质。此外，对于⼀个合适的基函数集的选择，我们可以建⽴输⼊向量到⽬标值之间的任意⾮线性映射（功能还是挺强大的）。但是它们的实际应⽤被维数灾难问题（维度灾难详见1.4节）限制了，这是因为基函数要事先固定下来，并且随着输⼊空间的维度D迅速增长，通常是指数⽅式的增长（如果函数的数量远低于输入空间的维度D，会带来维度降低，所以基函数的数量需要随着输⼊空间的维度D增长）。
  幸运的是，真实数据集有两个性质，可以帮助我们缓解这个问题。

• 第⼀，数据向量{${\text{x}}_n$}通常位于⼀个⾮线性流形内部。由于输⼊变量之间的相关性，这个流形本⾝的维度⼩于输⼊空间的维度（第12章中讨论⼿写数字识别时给出⼀个例⼦来说明这⼀点）。如果我们使⽤局部基函数，那么我们可以让基函数只分布在输⼊空间中包含数据的区域（特别注意，这里说的是局部基函数，因为全局基函数会对所有输入空间造成影响）。这种⽅法被⽤在径向基函数⽹络中，也被⽤在⽀持向量机和相关向量机当中。神经⽹络模型使⽤可调参的基函数，使得输⼊空间的区域中基函数会按照数据流形发⽣变化。（看完5-7章之后再理解本段，理解什么是非线性流形、神经网络和核方法是如何适应非线性流行的特点的。）。
• 第⼆，⽬标变量可能只依赖于数据流形中的少量可能的⽅向（这里的方向是什么意思）。利⽤这个性质，神经⽹络可以通过选择输⼊空间中基函数产⽣响应的⽅向。

互动话题

• 维度灾难到底是当高维空间时需要太多的样本（样本数目必须大于决策区间数目）（如1.4和《深度学习》5.11节提到的），还是仅仅本节提到的会导致函数模型（如线性模型）太复杂？
  结合本书1.4和《深度学习》5.11节提到的，目前的理解：任何机器学习算法都会利用局部不变性。但是线性模型没有有效利用“数据非线性流行”的特点，使得函数模型过于复杂。核方法利用了“数据非线性流行”的特点，但是“样本数目必须大于决策区间数目”的问题并没有解决。神经网络不仅利用了“数据非线性流行”的特点，也解决了“样本数目必须大于决策区间数目”的问题。