深度网络pre-train对于深度网络的意义

2016.10.11

1 pre-train 带来更好的优化还是更好的泛化?

pre-train是一个寻网络权值初值的过程,将pre-train的结果作为BP算法的权值的初值,能够解决深度网络在非凸目标函数上陷入局部最优的问题。从这个角度理解更象是带来更好的优化能力。在带有pre-train的深度网络的泛化表现上不仅仅是训练误差很小,同时泛化误差也很小,下图可以看出带有pre-train的网络在减小测试误差的能力上更优秀,感觉是pre-train的网络能够找到一个泛化能力好但是训练误差不一定好的初值,从这里更象是一个正则化的方法。

2 pre-train 在什么情况是有效的?

试验结果说明,浅层简单的网络并不需要pre-train,也好理解,如果浅层网络能够解决的问题,正则化反而会损害模型的表达能力。而在表达能力太强的深层网络,需要pre-train来约束网络的表能力。




评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值