深度网络pre-train对于深度网络的意义

1 pre-train 带来更好的优化还是更好的泛化？

pre-train是一个寻网络权值初值的过程，将pre-train的结果作为BP算法的权值的初值，能够解决深度网络在非凸目标函数上陷入局部最优的问题。从这个角度理解更象是带来更好的优化能力。在带有pre-train的深度网络的泛化表现上不仅仅是训练误差很小，同时泛化误差也很小，下图可以看出带有pre-train的网络在减小测试误差的能力上更优秀，感觉是pre-train的网络能够找到一个泛化能力好但是训练误差不一定好的初值，从这里更象是一个正则化的方法。

2 pre-train 在什么情况是有效的？

试验结果说明，浅层简单的网络并不需要pre-train，也好理解，如果浅层网络能够解决的问题，正则化反而会损害模型的表达能力。而在表达能力太强的深层网络，需要pre-train来约束网络的表能力。

--------------------- 
作者：cjw_seeker 
来源：CSDN 
原文：https://blog.csdn.net/github_36129812/article/details/53116491 
版权声明：本文为博主原创文章，转载请附上博文链接！