#Deep Learning回顾#之2006年的Science Paper

原创 2016年08月30日 12:18:25

大家都清楚神经网络在上个世纪七八十年代是着实火过一回的,尤其是后向传播BP算法出来之后,但90年代后被SVM之类抢了风头,再后来大家更熟悉的是SVM、AdaBoost、随机森林、GBDT、LR、FTRL这些概念。究其原因,主要是神经网络很难解决训练的问题,比如梯度消失。当时的神经网络研究进入一个低潮期,不过Hinton老人家坚持下来了。

功夫不负有心人,2006年Hinton和学生发表了利用RBM编码的深层神经网络的Science Paper:Reducing the Dimensionality of Data with Neural Networks,不过回头来看,这篇paper在当今的实用性并不强,它的更大作用是把神经网络又推回到大家视线中,利用单层的RBM自编码预训练使得深层的神经网络训练变得可能,但那时候Deep learning依然争议很多,最终真正爆发是2012年的ImageNet的夺冠,这是后话。

flow

如图中所示,这篇paper的主要思想是使用受限RBM先分层训练,受限的意思是不包含层内的相互连接边(比如vi*vj或hi*hj)。每一层RBM训练时的目标是使得能量最小:

rbm

能量最小其实就是P(v, h)联合概率最大,而其他v’相关的p(v’, h)较小,后面这个是归一化因子相关。这块如果理解有问题的,需要补一下RBM相关知识,目前网上资料不少了。

大致的过程为,从输入层开始,不断进行降维,比如左图中的2000维降到1000维, 降维时保证能量最小,也就是输出h和输入v比较一致,而和其他输入v’不一致,换句话说,输出尽量保证输入的信息量。降维从目标上比较类似于PCA,但Hinton在文章说这种方法比PCA效果会好很多,尤其是经过多层压缩的时候(比如784个像素压缩到6个实数),从原理应该也是这样的,RBM每一层都尽量保留了输入的信息。

预训练结束后,就会展开得到中间的解码器,这是一个叠加的过程,也就是下一层RBM的输出作为上一层RBM的输入。

最后再利用真实数据进行参数细调,目标是输入图片经过编码解码后尽量保持原图信息,用的Loss函数是负Log Likelihood:
likelihood

这篇在今天看来实用性不太大,难度也不大,但在当时这篇文章看起来还是晦涩的,很多原理没有细讲。为何能中Science?个人认为,毕竟Hinton是神经网络的泰斗,换个人名不见经传的人估计中不了,另外这篇文章也确实使得以前不可能的深层神经网络变得可能了,在今天依然有很多可以借鉴的地方,细心的同学会发现上百或上千层的ResNet的思想在一定程度上和这篇论文是神似的。ResNet也是意识到深层(152层)不好直接训练,那就在单层上想办法,将原来直接优化H(x)改为优化残差F(x) = H(x)-x,其中H(X)是某一层原始的的期望映射输出,x是输入,相当于输入x有个直通车到达该层输出,从而使得单层的训练更加容易。

参考资料:

[1] Paper:http://www.cs.toronto.edu/~hinton/science.pdf

[2] 代码:http://www.cs.toronto.edu/~hinton/MatlabForSciencePaper.html


本文只是简单回顾,疏漏之处敬请谅解,感兴趣的可以加QQ群一起学习:252085834

版权声明:本文为博主原创文章,未经博主允许不得转载。欢迎关注我们的网站(https://www.52ml.net),对机器学习感兴趣的欢迎加入我们的QQ群:252085834。

Deep Learning(深度学习)学习笔记整理系列(三)

Deep Learning(深度学习)学习笔记整理系列 zouxy09@qq.com http://blog.csdn.net/zouxy09 作者:Zouxy version...
  • lcj_cjfykx
  • lcj_cjfykx
  • 2015年02月25日 13:43
  • 1285

Deep Learning方向的paper

个人阅读的Deep Learning方向的paper整理,分了几部分吧,但有些部分是有交叉或者内容重叠,也不必纠结于这属于DNN还是CNN之类,个人只是大致分了个类。目前只整理了部分,剩余部分还会持续...
  • langb2014
  • langb2014
  • 2016年03月06日 14:47
  • 1872

【深度学习笔记】个人阅读的Deep Learning方向的paper整理

转载来源: 人阅读的Deep Learning方向的paper整理 个人阅读的Deep Learning方向的paper整理,分了几部分吧,但有些部分是有交叉或者内容重叠,也不必纠结于这属于DNN还...
  • chenriwei2
  • chenriwei2
  • 2014年07月23日 15:12
  • 5000

Deep Learning 中文翻译

https://github.com/exacity/deeplearningbook-chinese 在众多网友的帮助和校对下,草稿慢慢变成了初稿。尽管还有很多问题,但至少90%的内容是可...
  • AMDS123
  • AMDS123
  • 2017年04月14日 16:17
  • 7053

「Deep Learning」Dropout - Drop out the Units in a Neural Network

Sina Weibo:东莞小锋子Sexyphone Tencent E-mail:403568338@qq.com http://blog.csdn.net/dgyuanshaofeng/ar...
  • dgyuanshaofeng
  • dgyuanshaofeng
  • 2016年08月06日 09:22
  • 334

2016.4.15 nature deep learning review[1]

  • Zhaohui1995_Yang
  • Zhaohui1995_Yang
  • 2016年05月08日 17:44
  • 930

Deep Reinforcement Learning 基础知识(DQN方面)

## Introduction 深度增强学习Deep Reinforcement Learning是将深度学习与增强学习结合起来从而实现从Perception感知到Action动作的端对端学习的一种全...
  • songrotek
  • songrotek
  • 2016年01月25日 16:07
  • 54493

Deep Reinforcement Learning Papers 强化学习论文集

Deep Reinforcement Learning Papers A list of recent papers regarding deep reinforcement learning.  ...
  • suluoyuqing
  • suluoyuqing
  • 2016年03月20日 11:38
  • 2045

Deep Learning(深度学习)代码/课程/学习资料整理

转载自:http://blog.csdn.net/u013854886/article/details/48177251 1. Deep Learning课程(由浅入深): 一个不错的中文...
  • u010963837
  • u010963837
  • 2017年04月19日 11:24
  • 543

LeCun、Bengio和Hinton综述论文《deep learning》

2015年,DL界三大神(Yann LeCun,Yoshua Bengio & Geoffrey Hinton),为了纪念人工智能60周年,合作在Nature上发表深度学习的综述性文章。原文地址:De...
  • youyuyixiu
  • youyuyixiu
  • 2016年12月20日 15:04
  • 2509
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:#Deep Learning回顾#之2006年的Science Paper
举报原因:
原因补充:

(最多只允许输入30个字)