今天主要讲一下深度学习泰斗Geofrey Hinton 2006年发表在Nature上的一篇论文《Reducing the Dimensionality of Data with Neural Networks》。这篇文章也是第一篇深度学习的论文,在之前的话没有很好的方法应用在深度学习网络上。这篇论文发表之后,人们的灵感纷纷涌现,进而深度学习得到了快速发展和巨大的进步。
论文地址:https://science.sciencemag.org/content/sci/313/5786/504.full.pdf
直接上干货,根据图片讲解容易理解,网络训练过程如下:
具体讲解
1. 首先看左边的Pretraining,这里最下面,一开始是一张2000个像素的图片,然后构建了3个受限玻尔兹曼机。
第一个RBM,可见层有2000个神经元,隐层有1000个神经元,先将2000个像素的图片输入到第一个RBM中训练,训练好之后得到隐层1000个神经元的输出,等于就是提取了1000个特征,把1000个值保存下来之后输入第二个RBM,可见层有1000个神经元,隐层有500个神经元,训练第二个RBM之后可以得到500个特征的值。最后在把500个值输入到第三个RBM中,可见层有500个神经元,隐层有30个神经元,最后得到30个特征。意思就是从2000个像素的图片不断训练,最后提取出30个图片的特征值。
这是把三个受限玻尔兹曼机堆叠起来构成一个BP网络。
2. 然后看中间的Unrolling,它是由一个编码过程和一个解码过程组成的。首先编码过程它使用的是左边的三个堆叠的RBN,并且使用左边堆叠的RBM已经训练好的权值W1, W2, W3, W4。然后解码过程它就是将RBM反过来,并将权值求其转置。通过输入一张原图进入该网络,然后最后得到的输出有点模糊。
3. 最后看最右边的Fine-tuning,