本文探讨了深度学习如何通过多层神经网络实现数据降维，重点介绍了逐层初始化（layer-wise pre-training）方法，以解决优化难题。深度学习先通过预训练获取接近最优解的初始参数，再进行整体模型的调优。与传统神经网络相比，深度学习的优势在于其多层结构和特征学习能力，能更好地处理梯度扩散问题。
2006年，加拿大多伦多大学教授、机器学习领域的泰斗Geoffrey Hinton发表的这篇文章引起了深度学习的狂潮，使得深度学习死灰复燃。
1、在数据降维中，可以利用多层神经网络。梯度下降法是传统的参数训练方法，但是当初始条件接近于最优解时，梯度下降方法得到的参数较为合理。本文中描述了一种更有效的初始化的方法(逐层初始化，layer-wise pre-training)。
上面这段话来自论文的摘要，Deep learing分两步，第一步是初始化，第二步是调优，摘要中主要体现了第一步，这也是深度学习最关键的部分。
2、常用的降维方法是PCA,Deep learning采用多层神经网络，提供了一种非线性的数据降维方法。
3、多层网络的最优化是困难的，当采用较大的初始参数时，网络容易陷入局部最优，当采用较小的初始参数时，梯度的下降很慢，训练需要很长时间。因此，最好的初始值是接近于最优解的，但是这样的初始值是很难得到的。作者采用了一个’pretraining’过程，得到初始值。
4、Deep Learning的Pretraining过程是逐层初始化的，采用两层的RBM（Restricted Boltzmann machine）,关于RBM，待补充。
5、通过layer-wise pre-training的训练，得到网络的初始值。接下来需要对整个模型进行调优，通过fine-tuning the weights for optimal reconstruction.
深度学习方面有关资料：
zouxy09的CSDN博文-深度学习笔记，讲的
最低0.47元/天 解锁文章
扫一扫
404
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
