【随笔】通用近似定理

机器学习在本质上就是找到个好用的函数。

而人工神经网络最牛的地方可能就在于，它可以在理论上证明：“一个包含足够多隐含层神经元的多层前馈网络，能以任意精度逼近任意预定的连续函数”。

这个定理也被称为通用近似定理（UniversalApproximationTheorem这里的“Universal”，也有人将其翻译成“万能的”，由此可以看出，这个定理的能有多大。

通用近似定理告诉我们，不管函数 f(x) 在形式上有多复杂，我们总能确保找到一个神经网络，对任何可能的输入，以任意高的精度近似输出 f(x) 。换句话说，神经网络在理论上可近似解决任何问题，这就厉害了！有关神网络可以计算任何函数的可视化证明。

仅有一层的前馈网络，的确足以有效地表示任何函数，但是，这样的网络结构可能会格外庞大，进而无法正确地 学习和泛化。

如下图，在区间[-2,2]中神经网络对函数拟合的不错，但是当超过此区间时，结果便大相径庭，也就很难 “泛化” 支撑其他输入。

参考文献：《深度学习之美:AI时代的数据处理与最佳实践》

猜你喜欢：👇🏻
⭐【随笔】深度学习之美——杨家有女初长成，养在深闺人未识
⭐【随笔】卷积神经网络中的卷积怎么卷？
⭐【随笔】激活函数是怎样一种存在？