神经网络为什么能成为“万能函数拟合器“

互联网各领域资料分享专区(不定期更新)：

Sheet

---

在AI领域流传着一个惊人的论断："只要足够复杂，神经网络可以逼近任何数学函数"。这究竟是天方夜谭，还是确有科学依据？

---

一、震惊学术界的"通用近似定理"

1989年，一篇名为《Approximation by Superpositions of a Sigmoidal Function》的论文横空出世。作者George Cybenko证明了一个颠覆认知的结论：

"仅需一个足够宽的单隐藏层神经网络，使用Sigmoid激活函数，就能以任意精度逼近任何连续函数"

这就是著名的通用近似定理（Universal Approximation Theorem）。后续研究进一步扩展：ReLU等非线性激活函数同样适用该定理。

定理核心思想

神经网络通过多层非线性变换，能将输入空间扭曲、折叠，最终用隐藏层的神经元组合出无数个"函数片段"。这些片段像乐高积木般拼接，理论上可以构造出任意复杂的函数形态。

---

二