通用近似定理-----用任意深度的神经网络逼近函数

张玉宏的《深度学习之美》阅读笔记.

机器学习在本质上就是找到个好用的函数。

而人工神经网络最牛的地方可能就在于，它可以在理论上证明：“一个包含足够多隐含层神经元的多层前馈网络，能以任意精度逼近任意预定的连续函数”。

这个定理也被称为通用近似定理（UniversalApproximationTheorem这里的“Universal”，也有人将其翻译成“万能的”，由此可以看出，这个定理的能有多大。

通用近似定理告诉我们，不管函数$f(x)$在形式上有多复杂，我们总能确保找到一个神经网络，对任何可能的输入，以任意高的精度近似输出$f(x)$（即使函数有多个输入和输出，即$f(x_1,x_2,x_3...x_n)$，通用近似定理的结论也是成立的.换句话说，神经网络在理论上可近似解决任何问题，这就厉害了！有关神网络可以计算任何函数的可视化证明，感兴趣的读者可以参阅迈克尔·尼尔（Michael Nielsen）的博客文。

使用这个定理时，需要注如下两点：

1. 定理说的是，可以设计个神经网络尽可能好地去“近似”某个特定函数，而不是说“准确”计算这个函数。我们通过增加隐含层神元的个数来提升近似的精度。
2. 被近似的函数，必须连续函数如果函数是非连续的，也就是说有极陡跳跃的函数，那神经网络就“爱莫能助”了。

即使函数是连续的，有关神经网络能不能解决所有问题，也是有争议的原因很简单，就如同那句玩笑话“理想很丰满，现实很霄’感”，通用近似定理在理论上是回事，而在实际操作中又是另外回事。

比如，深度学习新秀、生成对抗网络（GAN）的提出者伊恩·古德费洛（IanGoodfellow)就曾说过：“仅含有一层的前馈网络的确足以有效地表示任何函数，但是，这样的网络结构可能会格外庞大，进而无法正确地学习和泛化.

A feedforward network with a single layer is sufficient to represent any function,but the layer may be infeasibly large and may fail to learn and generalize correctly.

Goodfellow言外之意是说，“广而浅薄”的神经网络在理论上是万能的，但在实践中却不是那么回事儿。因此，网络往“深”的方向去做才是正途。

事实上，“通用近似定理”1989年就被提出了，到2006年深度学习开始厚积薄发，这期间神经网络并没有因为这个理论而得到蓬勃发展。因此，从某种程度上验证了Goodfellow的判断。