大师Geoff Hinton关于Deep Neural Networks的建议

最新推荐文章于 2021-03-09 18:41:10 发布
最新推荐文章于 2021-03-09 18:41:10 发布
阅读量2.4k 收藏 1
点赞数 1
分类专栏： 神经网络与深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/LG1259156776/article/details/48380205
版权
本文总结了Geoff Hinton对于深度神经网络的建议，包括使用多个隐藏层以增强表示能力，预训练以改善初始化，使用修正线性单元简化反向传播，参数数量应远超训练样本，以及利用dropout进行正则化。还提到了卷积前段对于处理空间结构信息的重要性。
摘要由CSDN通过智能技术生成

大师Geoff Hinton关于Deep Neural Networks的建议

Note: This covers suggestions from Geoff Hinton’s talk given at UBC which was recorded May 30, 2013. It does not cover bleeding edge techniques.

主要分为如下几点展开：

  • Have a Deep Network.
    1-2个hidden layers被认为是一个shallow network，浅浅的神经网络，当hidden layers数量多时，会造成local optima，缺乏数据等。
    因为deep neural network相比shallow neural network，最大的区别就是greater representational power，这个能力随着layer的增加而增加。

PS：理论上，只有一个单层hidden layer但是有很多unit的神经网络（large breadth，宽度，not deep），具有与deeper network相似的representational power，但是目前还不知

了解本专栏 订阅专栏 解锁全文
Zhang_P_Y
关注
专栏目录
订阅专栏
Deep Learning 16：用自编码器对数据进行降维_读论文“Reducing the Dimensionality of Data with Neural Networks”的笔记...
weixin_30920513的博客
12-28 1866
前言 论文“Reducing the Dimensionality ofData with Neural Networks”是深度学习鼻祖hinton于2006年发表于《SCIENCE》的论文，也是这篇论文揭开了深度学习的序幕。 笔记 摘要：高维数据可以通过一个多层神经网络把它编码成一个低维数据，从而重建这个高维数据，其中这个神经网络的中间层神经元数是较少的，可把这个神经网络叫做自...
人工智能之父Hinton顶尖论文
06-25
Geoffrey Hinton，被称为“神经网络之父”、“深度学习鼻祖”，他曾获得爱丁堡大学人工智能的博士学位，并且为多伦多大学的特聘教授。在2012年，Hinton还获得了加拿大基廉奖(Killam Prizes，有“加拿大诺贝尔奖”之称的国家最高科学奖)。2013年，Hinton 加入谷歌并带领一个AI团队，他将神经网络带入到研究与应用的热潮，将“深度学习”从边缘课题变成了谷歌等互联网巨头仰赖的核心技术，并将HintonBack Propagation(反向传播)算法应用到神经网络与深度学习。
Coursera-Neural Networks by Geoffrey Hinton
Geoff Blog
10-13 185
Coursera-Neural Networks by Geoffrey Hinton feed-forward networks       symmetrically-connection neural networks   posted @ 2016-10-13 15...
AI先驱Geoff Hinton访谈：“深度学习将能够做所有事情”
甲客实验室
11-05 295
关于AI领域的空白：“必须有很多概念上的突破……我们还需要大规模增加规模。” 关于神经网络的弱点：“神经网络出奇地擅长处理数量很少，参数众多的数据，但人本身却是可以做的更好。” 关于我们的大脑如何工作：“大脑内部是这些神经活动的重要载体。” 现代AI革命始于一场不起眼的研究竞赛。那是2012年，一年一度的ImageNet竞赛的第三年，该竞赛要求团队构建能够识别1,000种物体（从动物到风景再到人）的计算机视觉系统。 在最初的两年中，最好的团队甚至未能达到75％的准确性。但是在第三次中，由三位研究人员组.
Reluplex：一种用于验证深度神经网络的高效的SMT求解器
GGG_Yu的博客
03-09 2756
Reluplex：一种用于验证深度神经网络的高效的SMT求解器摘要背景介绍背景知识从Simplex到Reluplex高效实现Reluplex案例研究：ACAS Xu系统评估过程总结和未来工作 文献来源：Guy Katz, Clark W. Barrett, David L. Dill, Kyle Julian, and Mykel J. Kochenderfer. Reluplex: An efficient SMT solver for verifying deep neural networks. In
AI 可靠性论文整理
wallace_www的博客
09-25 5329
AI 可靠性论文整理鲁棒性 Robustness相关文献高优先级对抗样本设计与抵御鲁棒性评估其他鲁棒性研究次要优先级公平性 Fairness相关文献高优先级次要优先级可解释性 Explainability相关文献高优先级次要优先级可追溯性 Lineage相关文献名词解释 鲁棒性 Robustness 通过暴露和修复漏洞来确保AI系统的安全性和可靠性 识别并防御新的攻击 设计新的对抗性训练方...
《Reducing the Dimensionality of Data with Neural Network》阅读心得
xuqn0606的博客
03-18 1982
      本论文是2006发表在《SCIENCE》上的一篇关于使用神经网络进行数据降维的文章，作者为G. E. Hinton and R. R. Salakhutdinov。        论文的思想是使用一个多层的神经网络对数据进行处理，中间层神经元个数少，实现从高维数据到低维数据的‘编码’，然后再通过低维到高维的‘解码’进行数据的重构，目标是减少元数据与重构数据的交叉熵。但是如果权重的初始化...
Deep Learning for Computer Vision
07-23
提到的“DeepLearning Saga”以及观看对Geoff Hinton的喜剧致敬视频，都强调了深度学习的学习资源。文档中推荐了多个在线课程和资源，如教授Hugo Larochelle的IFT725课程，以及斯坦福大学Fei-Fei Li的CS231N课程，...
一步一步分析讲解深度神经网络基础-Convolutional Neural Network
热门推荐
凡难事必作于细的博客
12-25 2万+
Convolutional Neural Network 参考http://cs231n.github.io/convolutional-networks/history Convolutional Neural Networks (CNNs / ConvNets)Convolutional Neural Networks are very similar to ordinary Neural
Reluplex---An Efficient SMT Solver for Verifying Deep Neural Networkd
10-16
Reluplex---An Efficient SMT Solver for Verifying Deep Neural Networkd
深度学习研究理解4：ImageNet Classification with Deep Convolutional Neural Network
whiteinblue的专栏
01-27 1万+
本文是Alex和Hinton参加ILSVRC2012比赛的卷积网络论文，本网络结构也是开启Imagenet数据集更大，更深CNN的开山之作，本文对CNN的一些改进成为以后CNN网络通用的结构；在一些报告中被称为Alex-net，之后在Imagenet上取得更好结果的ZF-net，SPP-net，VGG等网络，都是在其基础上修改得到。 摘要： 本文训练了一个大的，深的CNN，去分类高像素的图片。
Hinton Neural Networks课程笔记2a：三种主要的神经网络框架之前向网络、循环神经网络和对称网络
silent56_th的博客
07-23 4527
这一节主要是介绍了三种主要的神经网络模型：前向网络、循环神经网络和对称网络前向网络 Feed-forward Neural Networks如果把神经元看做节点，把神经元的输出到另一个神经元的输入看做有向边，那么神经网络可以看做是一个有向图，一个有向图没有圈（circle）的神经网络就是前向网络。前向网络应用广泛，也十分经典，常见的CNN就是一个典型的前向网络；全连接网络则为相邻两层节点之间都有权重
【论文笔记】二值化神经网络（Binarized Neural Network）
elaine_bao的专栏
03-22 1万+
文章链接：Binarized Neural Networks: Training Deep Neural Networks with Weights and Activations Constrained to +1 or -1 是2016年2月份新出的一篇文章。文章的主要思想是通过二值化weights和activations，来提高NN的速度和减少其内存占用。
Binarized Neural Networks_ Training Neural Networks with Weights and Activations Constrained to +1 o...
weixin_30482181的博客
01-04 134
转载请注明出处： http://www.cnblogs.com/sysuzyq/p/6248953.html by 少侠阿朱 转载于:https://www.cnblogs.com/sysuzyq/p/6248953.html
读论文：Deep Neural Networks with Multitask Learning
知行_那片天
03-26 980
读论文：A Unified Architecture for Natural Language Processing: Deep Neural Networks with Multitask Learning 使用一个卷积神经网络，对输入的句子做：词性标注，词块分割(chunks)，命名实体识别，词语相似度以及语言模型等任务。 背景： 很多系统缺乏统一的框架来进行深度语义任务，这些系统有三大缺点:...
深度置信网络_人工智能深度学习之父Hinton深度置信网络北大最新演讲（含PPT）...
weixin_39533432的博客
12-17 485
这是2019年5月14日Hinton在北大做的远程讲座 AbstractIn 2006, there was a resurgence of interest in deep neural networks. This was triggered by the discovery that there was a simple and effective way to pre-train deep...
网络进阶（二）
weixin_34056162的博客
07-10 91
博文参考 http://baike.baidu.com/link?url=Pti670J6tzc_kmR4wZT5nPvMNfCHNTtvlHSmM3XOgYS73DAgc3XeNUam1niZiINL-LJEdFiSG3FtS7FgWXR1ba socket 建立网络通信连接至少要一对端口号(socket里面包含的port)。sock...
理解RBM算法：Geoff Hinton与Ruslan Salakhutdinov的源代码解析
"Hiton RBM源程序是一个由Geoff Hinton和Ruslan Salakhutdinov提供的用于训练受限玻尔兹曼机（Restricted Boltzmann Machine, RBM）的代码，允许用户复制、使用、修改和分发，但需保留版权信息。RBM是一种用于特征...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Zhang_P_Y

感谢支持

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值