神经网络的万能近似定理

一个前馈神经网络如果具有线性输出层和至少一层具有任何一种“挤压”性质的激活函数（非线性单元）的隐藏层，只要给予网络足够数量的隐藏单元，它可以以任意精度来近似任何一个从一个有限维空间到另一个有限维空间的Borel可测函数。

• Borel可测函数： 定义在$R^n$的有界闭集上的连续函数是Borel可测的。