关于神经网络的几点思考：单层——多层——深度
神经网络本质上是一个逼近器，一个重要的基本属性就是通用逼近属性。
通用逼近属性：
1989年，George Cybenko发表文章“Approximation by Superpositions of a Sigmoidal Function”，文章证明在只有单个隐层的情况下，对于任何的连续的，非线性的sigmoidal函数，只要在隐藏层个数足够多的情况下，就能够很好的拟合任意的连续函数。
原文链接：http://www.dartmouth.edu/~gvc/Cybenko_MCSS.pdf
文章所阐述的通用逼近属性（UniversalApproximation Properties）是神经网络中非常重要的一个性质：一个单隐藏层的神经网络，如果神经元个数足够多，通过非线性的激活函数则可以拟合任意函数。这使得我们在思考神经网络的问题的时候，不需要考虑函数是否能够用神经网络拟合，只需要考虑如何用神经网络做到更好的拟合。
1991年Kurt Hornik提出：通用逼近属性并不是激活函数的具体选择，而是多层前馈结构本身，该结构使神经网络具有通用逼近器的性质。
原文链接：
最低0.47元/天 解锁文章
1437
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
