1.研究背景和理论基础
1958年,Rosenblatt提出感知机模型(ANN)
1986年,Hinton提出多隐层构造深层神经网络(MNN)
2006年,Hinton提出深度置信网络(DBN),成为深度学习的主要框架
然后,此算法的高效性由Bengio实验验证成功
2.深度学习的3类模型
2.1 生成深层模型
以DBN为代表详细介绍。DBN模型是一种深层混合网络,以RBN为基本单元串联堆叠而成。DBN的训练是通过先逐层训练RBN,在使用传统学习算法进行微调。
2.2 判别深层模型
判别深层网络包括深层堆叠网络,卷积神经网络等。以CNN为代表介绍。
1962年,Hubel研究猫视觉原理,提出感受野的概念,1984年,Fukushima基于感受野提出神经感知机,这是第一个成功的CNN模型。
2.3 混合深层模型
略
3.深度学习研究的新进展
4.深度学习的实际应用及面对的挑战
应用:语音识别,图像识别,NLP(自然语言处理)
挑战:理论,建模,工程上的挑战