深度学习之--深度置信网络DBN

　　今天主要讲一下深度学习泰斗Geofrey Hinton 2006年发表在Nature上的一篇论文《Reducing the Dimensionality of Data with Neural Networks》。这篇文章也是第一篇深度学习的论文，在之前的话没有很好的方法应用在深度学习网络上。这篇论文发表之后，人们的灵感纷纷涌现，进而深度学习得到了快速发展和巨大的进步。

　　论文地址：https://science.sciencemag.org/content/sci/313/5786/504.full.pdf

　　直接上干货，根据图片讲解容易理解，网络训练过程如下：

　　

具体讲解

　　1. 首先看左边的Pretraining，这里最下面，一开始是一张2000个像素的图片，然后构建了3个受限玻尔兹曼机。

　　第一个RBM，可见层有2000个神经元，隐层有1000个神经元，先将2000个像素的图片输入到第一个RBM中训练，训练好之后得到隐层1000个神经元的输出，等于就是提取了1000个特征，把1000个值保存下来之后输入第二个RBM，可见层有1000个神经元，隐层有500个神经元，训练第二个RBM之后可以得到500个特征的值。最后在把500个值输入到第三个RBM中，可见层有500个神经元，隐层有30个神经元，最后得到30个特征。意思就是从2000个像素的图片不断训练，最后提取出30个图片的特征值。

　　这是把三个受限玻尔兹曼机堆叠起来构成一个BP网络。

　　　　

　　2. 然后看中间的Unrolling，它是由一个编码过程和一个解码过程组成的。首先编码过程它使用的是左边的三个堆叠的RBN，并且使用左边堆叠的RBM已经训练好的权值W1, W2, W3, W4。然后解码过程它就是将RBM反过来，并将权值求其转置。通过输入一张原图进入该网络，然后最后得到的输出有点模糊。

　　　　

　　3. 最后看最右边的Fine-tuning，

 

 

 

 

 

转载于:https://www.cnblogs.com/mengqimoli/p/11132766.html