深度网络pre-train对于深度网络的意义

2016.10.11

1 pre-train 带来更好的优化还是更好的泛化？

pre-train是一个寻网络权值初值的过程，将pre-train的结果作为BP算法的权值的初值，能够解决深度网络在非凸目标函数上陷入局部最优的问题。从这个角度理解更象是带来更好的优化能力。在带有pre-train的深度网络的泛化表现上不仅仅是训练误差很小，同时泛化误差也很小，下图可以看出带有pre-train的网络在减小测试误差的能力上更优秀，感觉是pre-train的网络能够找到一个泛化能力好但是训练误差不一定好的初值，从这里更象是一个正则化的方法。

2 pre-train 在什么情况是有效的？

试验结果说明，浅层简单的网络并不需要pre-train，也好理解，如果浅层网络能够解决的问题，正则化反而会损害模型的表达能力。而在表达能力太强的深层网络，需要pre-train来约束网络的表能力。