深度学习:Hinton_Science_Reducing the dimensionality of data with neural networks

原创 2012年11月16日 10:20:44

近日,闲来得空,又不停的听到Deep learning (DL)相关的突破~

故来研究下Deep learning的相关东西~

在Deep learning 的学习资源中找到,关于Deep belief network的相关资源

http://www.cs.toronto.edu/~hinton/MatlabForSciencePaper.html

这个资源的下载并运行,有一个需要注意的地方,就是数据文件:

要使用gunzip train-images-idx3-ubyte.gz 进行解压~

若使用winzip解压后,会损坏相关数据文件~

导致matlab code 中fopen文件 有错误~

 

本code涉及到的paper是2006 Science上的Hinton这篇:“reducing the dimensionality of data with neural networks”

 这篇paper来做什么的?(摘要)

通过一个小的中间层来重构高维输入向量,训练一个多层神经网络,最终使得高维数据可以转化为低维信号~

原有神经网络(Neural network, NN)求解权重时,存在的问题:利用梯度下降来求解权重~  但是严重依赖于初始化权重的好坏~

这篇paper描述一种有效地方法,来初始化权重,利用深度自解码网络(Deep autoencoder networks)来学习低维信号~

这种降维方法,比PCA(principal compenent analysis)效果要好的多~

 

降维有助于分类、可视化、交流和高维信号的存储~

一个简单常用的方法就是PCA,,找到数据集中最大方差方向.....

这篇paper描述一种非线性的PCA 的推广,利用一个自适应的、多层的编码网络,达到降维的目的。类似地,解码网络来重建数据~

在这两种网络中,随机初始化权重,通过最小化原始数据及其重建数据之间的差异,进行训练。

利用链规则来反馈错误,首先通过解码网络(Decoder),然后通过编码网络(Encoder),可以获得梯度。

多层RBM(Restricted Boltzmann machine)

像素对应着可见单元(v)~

特征描述子对应着隐单元h~

因为所有节点单元均为二进制的~  所以采用以下的激发函数来实现

可见层概率:

       

权重更新:

 

疑问:这是如何把样本间建立联系呢?

#Deep Learning回顾#之LeNet、AlexNet、GoogLeNet、VGG、ResNet

https://www.cnblogs.com/52machinelearning/p/5821591.html
  • qq_27292549
  • qq_27292549
  • 2018-03-19 13:55:04
  • 21

SIGKDD历年Best Papers

SIGKDD历年Best Papers
  • machinelearning_net
  • machinelearning_net
  • 2016-08-30 12:35:35
  • 259

Reducing the Dimensionality of Data with Neural Networks:神经网络用于降维

High-dimensional data can be converted to low-dimensional codes by training a multilayer neural netw...
  • wishchin
  • wishchin
  • 2015-04-26 20:18:39
  • 5250

Reducing the Dimensionality of Data with Neural Networks

2006年,加拿大多伦多大学教授、机器学习领域的泰斗Geoffrey Hinton发表的这篇文章引起了深度学习的狂潮,使得深度学习死灰复燃。1、在数据降维中,可以利用多层神经网络。梯度下降法是传统的参...
  • scyer123
  • scyer123
  • 2015-05-26 16:03:09
  • 728

Hinton Science06 Reducing the dimensionality of data with neural networks

  • yihaizhiyan
  • yihaizhiyan
  • 2014-07-16 15:49:12
  • 1431

Reducing the Dimensionality of Data with Neural Networks.pdf

  • 2012年01月03日 13:35
  • 360KB
  • 下载

【更新于12.29】深度学习论文汇总

本博客用于记录自己平时收集的一些不错的深度学习论文,近9成的文章都是引用量3位数以上的论文,剩下少部分来自个人喜好,本博客将伴随着我的研究生涯长期更新,如有错误或者推荐文章烦请私信。深度学习书籍和入门...
  • qq_21190081
  • qq_21190081
  • 2017-04-07 19:51:34
  • 7544

1.2机器学习基础下--python深度机器学习

1. 机器学习更多应用举例: 人脸识别   2. 机器学习就业需求:      LinkedIn所有职业技能需求量第一:机器学习,数据挖掘和统计分析人才      http://blog.li...
  • qq_16365849
  • qq_16365849
  • 2016-08-12 08:24:12
  • 909

Science2006 - Reducing the Dimensionality of Data with Neural Networks

  • 2015年05月21日 10:03
  • 416KB
  • 下载

深度学习:Hinton_Science_Reducing the dimensionality of data with neural networks

近日,闲来得空,又不停的听到Deep learning (DL)相关的突破~ 故来研究下Deep learning的相关东西~ 在Deep learning 的学习资源中找到,关于Deep bel...
  • yihaizhiyan
  • yihaizhiyan
  • 2012-11-16 10:20:44
  • 14969
收藏助手
不良信息举报
您举报文章:深度学习:Hinton_Science_Reducing the dimensionality of data with neural networks
举报原因:
原因补充:

(最多只允许输入30个字)