Deep Learning 学习系列004 —— 结构设计

神经网络的结构:神经网络有多少个神经单元和这些神经单元之间怎么连接。在链状结构中,上述问题变为选择神经网络的深度和每层的宽度。

统一逼近理论:具有一个线性输出单元,至少一个隐藏层和一个挤压激活函数的前向神经网络可以逼近任意Borel可测函数。

统一逼近理论表明,一个MLP(多层感知器)可以逼近表示任意函数。但是我们不能保证学习算法可以学到这个函数,学习失败的原因有二:
1. 最优化算法不能得到理想函数对应的参数;
2. 由于过拟合,学习算法可能学到错误的函数。

总结:一层前向神经网络足够表示任意函数,但是这一层可能不切实际的大,并且不能学习和泛化。在许多情况下,使用更深的模型可以减少表示理想函数的神经单元数目,同时可以减少泛化误差。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值