Deep Learning读书笔记（一）：Reducing the Dimensionality of Data with Neural Networks

最新推荐文章于 2024-03-04 11:13:20 发布
最新推荐文章于 2024-03-04 11:13:20 发布
阅读量3.2k 收藏 8
点赞数
文章标签： deep learning 读书笔记 神经网络 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/tuqinag/article/details/39085217
版权
本文是关于《Deep Learning》的读书笔记，主要探讨了如何利用深度学习网络进行数据降维，特别是通过预训练逐层优化网络权重，以达到更好的特征提取效果。文章介绍了使用限制玻尔兹曼机的对比分歧算法进行预训练，然后通过解码器还原高维数据，展示了在数据压缩和分类任务中的潜力。
摘要由CSDN通过智能技术生成

       这是发表在Science上的一篇文章，是Deep Learning的开山之作，同样也是我读的第一篇文章，我的第一篇读书笔记也从这开始吧。

       文章的主要工作是数据的降维，等于说这里使用深度学习网络主要提取数据中的特征，但却并没有将这个特征应用到分类等任务中去。文章中模型的功能与自动编码器的功能十分相似，我认为可以将文章中的模型认为是一个深度自编码器模型。网络模型如下图所示：

       在描述这张图之前首先要提到网络的预训练，这也是文章中重点说明的一点。如果我们想要得到一个更好的解，那么就得在整个网络初始化时赋予一个较优的权值。因为网络的层数较多，整个模型的参数空间很大，如果使用一个随机的初始值，其靠近局部最优值得可能性就很小，在参数优化是算法的收敛速度也很慢。但如果为其赋予一个较优的初始值，使其更为接近一某一个局部最优值点，那么参数优化时算法就能够较快的收敛，也能够取得更优的解。较为出名的算法有对比分歧算法，之后也会提到。<

最低0.47元/天 解锁文章
tuqinag
关注
Reducing the Dimensionality of Data with Neural Networks
scyer123的专栏
05-26 1342
2006年，加拿大多伦多大学教授、机器学习领域的泰斗Geoffrey Hinton发表的这篇文章引起了深度学习的狂潮，使得深度学习死灰复燃。1、在数据降维中，可以利用多层神经网络。梯度下降法是传统的参数训练方法，但是当初始条件接近于最优解时，梯度下降方法得到的参数较为合理。本文中描述了一种更有效的初始化的方法(逐层初始化，layer-wise pre-training)。 上面这段话来自论文的摘要
【神经网络】Reducing the Dimensionality of Data with Neural Networks
weixin_33921089的博客
05-03 422
这篇paper来做什么的？        用神经网络来降维、之前降维用的方法是主成分分析法PCA，找到数据集中最大方差方向。（附：降维有助于分类、可视化、交流和高维信号的存储） 这篇paper提出了一种非线性的PCA 的推广，通过一个小的中间层来重构高维输入向量，训练一个多层神经网络。利用一个自适应的、多层的编码网络（Deep autoencoder networks），达到降维的目的。  ...
reducing the dimensionality of data with neural network
11-01
作者:Hinton, GE (Hinton, G. E.); Salakhutdinov, RR (Salakhutdinov, R. R.) SCIENCE 卷: 313 期: 5786 页: 504-507 DOI: 10.1126/science.1127647 出版年: JUL 28 2006
Reducing the Dimensionality of Data with Neural Networks「深度学习鼻祖G.E.Hinton经典论文」
最新发布
AndrewLi的博客
03-04 749
高纬度的数据能被训练好的多层神经网络转化为低纬度的数据，这里的神经网络只需要使用一个小的核心层就能够将高纬度数据重构。梯度下降可以被用在优化这里的神经网络上，但只有当神经网络的初始值接近优秀解的时候梯度下降优化才有效。本文提出了一种初始化权重的方法，使得神经网络能够处理高维数据，在数据降维方面拥有比PCA算法更加优秀的性能。
论文--阅读翻译笔记-Reducing the Dimensionality of Data with Neural Networks
塞北战斗民族的博客
06-05 4505
摘要：通过训练小中间层（small central layer）的多层神经网络（神经元个数小于维数），可以将高维数据（high-dimensional data）转换为低维编码（low-dimensional codes），以此（通过此网络）来重建（reconstruct ）高维输入向量（high-dimensional input vectors）。其中这个神经网络的中间层神经元数是较少的，可把...
Deep Learning 16：用自编码器对数据进行降维_读论文“Reducing the Dimensionality of Data with Neural Networks”的笔记...
weixin_30920513的博客
12-28 1889
前言 论文“Reducing the Dimensionality ofData with Neural Networks”是深度学习鼻祖hinton于2006年发表于《SCIENCE》的论文，也是这篇论文揭开了深度学习的序幕。 笔记 摘要：高维数据可以通过一个多层神经网络把它编码成一个低维数据，从而重建这个高维数据，其中这个神经网络的中间层神经元数是较少的，可把这个神经网络叫做自...
deep-learning学习笔记1
08-03
“Reducing the Dimensionality of Data with Neural Networks”这篇论文展示了如何利用预训练和RBM改进自编码器，实现有效的数据降维，并通过实验验证了这种方法优于传统的PCA方法。深度学习的这一进步为后来的深度...
浅读——reducing the dimensionality of data with neural networks(一)
pandamax的博客
11-03 1915
最近在看DBN（深度信念网络）的相关知识以及代码，代码是Hition 的文章reducing the dimensionality of data with neural networks的代码部分。利用一点间歇时间把自己的学习体会总结一下，也不是太全。也结合了其他博主的文章，写一点自己的认识。也是刚刚学习不久，也会有些问题，望共同进步。RBM模型在原理上的实现和代码实现还是有所不同。其基本框架如
[论文翻译]Reducing the Dimensionality of Data with Neural Networks
风信子的博客
08-20 4067
论文题目：Reducing the Dimensionality of Data with Neural Networks 论文来源：10.1126/science.1127647 翻译人：BDML@CQUT实验室 Reducing the Dimensionality of Data with Neural Networks 利用神经网络降低数据的维度 G. E. Hinton* and R. R. Salakhutdinov High-dimensional data can be converted
【3】Reducing the dimensionality of data with neural networks.pdf
08-26
Fig. 3. Theory, presented as the experiment (see Fig. 1). The SHG source is the magnetic component of the Lorentz force on metal electrons in the SRRs.
Reducing the Dimensionality of Data with Neural Networks.pdf
01-03
用RBF降维，还可以实现分类 是HIINTON的新作
论文阅读---Reducing the Dimensionality of Data with Neural Networks
weixin_30902251的博客
05-11 223
通过训练多层神经网络可以将高维数据转换成低维数据，其中有对高维输入向量进行改造的网络层。梯度下降可以用来微调如自编码器网络的权重系数，但是对权重的初始化要求比较高。这里提出一种有效初始化权重的方法，允许自编码器学习低维数据，这种降维方式比PCA表现效果更好。 降维有利于高维数据的分类、可视化、通信和存储。简单而普遍使用的降维方法是PCA(主要成分分析)--首先寻找数据集中方差最大的几个方向，然...
Reducing the Dimensionality of Data with Neural Networks（1）
CSS360的博客
05-30 618
摘要 通过训练一个多层的神经网络可以将多维数据转化为一个低维编码，使用一个小的中心层可以重建高维的输入向量。在自编码网络中，梯度下降被用来微调网络的权重，但是梯度下降往往在初始权重接近最优解的情况下，才会表现的比较好。我们提出了一个有效初始化权重的方法，使自编码网络学习低维编码的性能优于PCA的数据降维。 主要内容 降维有助于分类、可视化、传递、存储高维的数据...
【论文阅读】 Hinton神经网络降维：Reducing the Dimensionality of Data with Neural Networks
wangqianqianya的博客
03-26 1880
知识点 autoencoder 自动编码器（自己生成自己，生成的自己可能表示方法不同，但都是同一个东西）。一种尽可能复现输入的神经网络，我们假设它的输入输出是一样的，通过训练调整网络参数，得到每一层的参数。这样我们就得到了输入的l种表示，每一层代表一种，表示也就是图片的特征。为了实现复现，autoencoder必须能捕捉到输入数据最重要的因素，就和pca一样，找到输入的主成分。 研究表...
Hinton论文系列-Reducing the dimensionality of data with neural networks
zephyr_wang的博客
08-23 2616
1 简介 本文根据2006年. G.E. Hinton 和R. R. Salakhutdinov的《Reducing the dimensionality of data with neural networks》翻译总结。 高维数据可以通过一个多层神经网络把它转换成一个低维数据，而且还能反向用低维数据重建高维数据。我们把这个神经网络叫做自动编码网络或自编码器（autoencoder）。梯度下降法可用来微调这个自动编码器的权值，但是只有在初始化权值较好时才能得到最优解，不然就容易陷入局部最优解。本文提供了一
reducing the dimensionality of data with neural networks
03-16
使用神经网络降低数据维度是一种流行的技术，通常称为降维。通过使用神经网络降维，可以将高维数据（例如图像或文本）转换为低维表示，同时尽可能地保留有用的信息。在这个过程中，神经网络学习如何选择最相关的特征，并将它们组合成更简单的表示形式，从而减少数据中的冗余信息。这种技术在许多应用中都非常有用，例如数据可视化和高维数据分析。
评论 6
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值