1、“玻尔兹曼机(Boltzman Machine)” 在深度学习里到底有什么用?
答:我是在看了“Deep Learning(深度学习)学习笔记整理系列之(六)”这篇博客时看到的关于玻尔兹曼机的东西,它在深度学习里的用处:Deep Learning假设神经网络是多层的,首先用Boltzman Machine(非监督学习)学习网络的结构,然后再通过Back Propagation(监督学习)学习网络的权值。
2、深度学习是监督学习还是非监督学习?
答:从问题1的答案来看,应该是监督吧????
3、深度学习、BP算法、神经网络、支持向量机、感知机之间的关系
答:神经网络(Neural Network)与支持向量机(Support Vector Machines,SVM)是统计学习的代表方法。可以认为神经网络与支持向量机都源自于感知机(Perceptron)。1986年,Rummelhart与McClelland发明了神经网络的学习算法Back Propagation。后来,Vapnik等人于1992年提出了支持向量机。近年来,神经网络一派的大师Hinton又提出了神经网络的Deep Learning算法(2006年),使神经网络的能力大大提高,可与支持向量机一比。
4,、从深度学习被提出到caffe的应用是怎么过渡的?
答:深度学习的概念由Hinton等人于2006年提出。基于深信度网(DBN)提出非监督贪心逐层训练算法,为解决深层结构相关的优化难题带来希望,随后提出多层自动编码器深层结构。此外Lecun等人提出的卷积神经网络是第一个真正多层结构学习算法,它利用空间相对关系减少参数数目以提高训练性能。,而caffe是卷及神经网络的应用框架。
该过渡包含了 http://blog.csdn.net/zouxy09/article/details/8781396 介绍的深度学习的基础理论方面的大部分内容,也就是压缩成了几句话。。。。
5、自编码器、受限玻尔兹曼机与深度网络的关系
好消息是,已经发现这些结构可以通过栈式叠加来实现深度网络。这些网络可以通过贪心法的思想训练,每次训练一层,以克服之前提到在反向传播中梯度消失及过度拟合的问题。
也就是说:将多个自编码器进行栈式结合,就构成了栈式自编码器(使用反向传播算法);将多个受限玻尔兹曼机进行栈式结合,就构成了深度信念网(DBN,使用对比差异算法)