深度学习:Hinton_Science_Reducing the dimensionality of data with neural networks

原创 2012年11月16日 10:20:44

近日,闲来得空,又不停的听到Deep learning (DL)相关的突破~

故来研究下Deep learning的相关东西~

在Deep learning 的学习资源中找到,关于Deep belief network的相关资源

http://www.cs.toronto.edu/~hinton/MatlabForSciencePaper.html

这个资源的下载并运行,有一个需要注意的地方,就是数据文件:

要使用gunzip train-images-idx3-ubyte.gz 进行解压~

若使用winzip解压后,会损坏相关数据文件~

导致matlab code 中fopen文件 有错误~

 

本code涉及到的paper是2006 Science上的Hinton这篇:“reducing the dimensionality of data with neural networks”

 这篇paper来做什么的?(摘要)

通过一个小的中间层来重构高维输入向量,训练一个多层神经网络,最终使得高维数据可以转化为低维信号~

原有神经网络(Neural network, NN)求解权重时,存在的问题:利用梯度下降来求解权重~  但是严重依赖于初始化权重的好坏~

这篇paper描述一种有效地方法,来初始化权重,利用深度自解码网络(Deep autoencoder networks)来学习低维信号~

这种降维方法,比PCA(principal compenent analysis)效果要好的多~

 

降维有助于分类、可视化、交流和高维信号的存储~

一个简单常用的方法就是PCA,,找到数据集中最大方差方向.....

这篇paper描述一种非线性的PCA 的推广,利用一个自适应的、多层的编码网络,达到降维的目的。类似地,解码网络来重建数据~

在这两种网络中,随机初始化权重,通过最小化原始数据及其重建数据之间的差异,进行训练。

利用链规则来反馈错误,首先通过解码网络(Decoder),然后通过编码网络(Encoder),可以获得梯度。

多层RBM(Restricted Boltzmann machine)

像素对应着可见单元(v)~

特征描述子对应着隐单元h~

因为所有节点单元均为二进制的~  所以采用以下的激发函数来实现

可见层概率:

       

权重更新:

 

疑问:这是如何把样本间建立联系呢?

Reducing the Dimensionality of Data with Neural Networks:神经网络用于降维

High-dimensional data can be converted to low-dimensional codes by training a multilayer neural netw...
  • wishchin
  • wishchin
  • 2015年04月26日 20:18
  • 4445

Deep Learning-LeCun、Bengio和Hinton三大牛的综述

  • 2015年06月01日 05:37
  • 1.99MB
  • 下载

Reducing the Dimensionality of Data with Neural Networks

上周阅读了Hinton在06发表在Science上的文章Reducing the Dimensionality of Data with Neural Networks,结合了网上找到的一些资料(这个...
  • qq_28357787
  • qq_28357787
  • 2016年05月31日 12:10
  • 1447

浅析 Hinton 最近提出的 Capsule 计划

这有可能也是知乎上面分析介绍深度学习最为全面的文章之一。希望做物理的,做数学的,做生物的,做化学的,做计算机,包括做科幻的都能看的很开心。 Hinton 以“深度学习之父” 和 “神经网络先驱” 闻...
  • omnispace
  • omnispace
  • 2017年09月22日 13:01
  • 4078

Hinton提出泛化更优的「软决策树」:可解释DNN具体决策

Geoffrey Hinton 等人发表 arXiv 论文提出「软决策树」(Soft Decision Tree)。并且通过层级决策模型把 DNN 所习得的知识表达出来,具体决策解释容易很多。这最终缓...
  • zchang81
  • zchang81
  • 2017年11月29日 17:17
  • 280

UFLDL深度学习编程练习1: 多层神经网络

UFLDL教程多层神经网络练习的原理简单讲解以及实现
  • jalused
  • jalused
  • 2015年01月10日 21:20
  • 1252

神经网络(Neural Network)概述

1.神经网络概况 1943年,心理学家W. Mcculloch和数理逻辑学家W. Pitts根据生物神经元功能和结构,提出M-P神经元模型。 1957年,Rosenblatt提出感知机MLP模型。...
  • ws_20100
  • ws_20100
  • 2015年10月06日 08:43
  • 3372

Hinton Neural Networks课程笔记1e: 监督学习、强化学习、无监督学习,及其应用

这节课介绍了机器学习的几大框架,分别是监督学习(supervised learning)、强化学习(reinforcement learning)和非监督学习(unsupervised learnin...
  • silent56_th
  • silent56_th
  • 2017年07月22日 18:39
  • 336

ufldl学习笔记与编程作业:Multi-Layer Neural Network(多层神经网络+识别手写体编程)

ufldl学习笔记与编程作业:Multi-Layer Neural Network(多层神经网络+识别手写体编程) ufldl出了新教程,感觉比之前的好,从基础讲起,系统清晰,又有编程实践。...
  • linger2012liu
  • linger2012liu
  • 2014年08月10日 01:05
  • 7043

二值网络(Binarized Neural Networks)学习与理解

二值网络(Binarized Neural Networks)学习与理解
  • linmingan
  • linmingan
  • 2016年03月29日 19:56
  • 5066
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:深度学习:Hinton_Science_Reducing the dimensionality of data with neural networks
举报原因:
原因补充:

(最多只允许输入30个字)