NIPS2018深度学习(10)|亮点：训练技巧；强化学习；GAN(论文及代码)

最新推荐文章于 2020-06-06 23:16:18 发布
最新推荐文章于 2020-06-06 23:16:18 发布
阅读量449 收藏
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/hestendelin/article/details/101546763
版权
该博客介绍了NIPS2018深度学习会议的亮点，包括步长在神经网络训练中的关键影响、行动消除在强化学习中的应用，以及使用正则化GAN学习紧凑二值描述符的方法。文章探讨了步长如何决定局部最优解，AE-DQN如何加速训练并提高鲁棒性，以及BinGAN如何生成具有判别性的二值特征。
摘要由CSDN通过智能技术生成

[1] Step Size Matters in Deep Learning

Kamil Nar, S. Shankar Sastry

University of California, Berkeley

https://papers.nips.cc/paper/7603-step-size-matters-in-deep-learning.pdf

利用梯度下降算法训练神经网络时，能够得到离散的非线性的动态系统。此时，在训练过程中网络会收敛到不定的点，而不是固定的点，而且还依赖于初始状态。

在这些现象中，步长起到非常重要的作用。步长决定了局部最优解的子集，如果算法收敛到一个轨道上，步幅决定了在该轨道震动的幅度。为解释步长对神经网络的影响，作者们将梯度下降算法当做离散的动态系统来研究，通过分析不同解的李雅普诺夫稳定性，给出了步长和相应的解之间的关系。

作者们发现，随深度的增加训练误差会恶化，对具有较大奇异值的线性映射进行估计比较困难，该文作者还发现深度残差网络具有显著不同的性能。

具有多个局部最优解的函数示例如下

640?wx_fmt=png

这篇文章的主要贡献如下

640?wx_fmt=png

该文章跟先前工作的主要不同在于

640?wx_fmt=png

不同步幅的影响如下

640?wx_fmt=png

代码地址

https://github.com/nar-k/NeurIPS-2018

              

最低0.47元/天 解锁文章
frank_hetest
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
[2015 Springer] Local Image Descriptor: Modern Approaches——1 Introduction
Alliswell_WP
12-10 453
翻译 本地图像描述符：现代方法 —— 作者：Bin Fan，Zhenhua Wang，Fuchao Wu 有关该系列的更多信息，请访问http://www.springer.com/series/10028 前言1 在过去的15年中，特征点描述符已成为计算机视觉社区中必不可少的工具。它们是从图像检索到多图像立体匹配以及从表面重建到图像增强等应用程序的重要组成部分。 从原始的SIFT向量开始，已经提...
K-means hashing: An affinity-preserving quantization method for learning binary compact codes论文理解
CHIERYU的专栏
01-09 2895
本篇论文[1]是微软研究院的何凯明等人提出，何凯明在微软2015年一年参与发表5篇CVPR，还有好多其他高质量论文，这篇论文是其2013年CVPR上发表的一篇。下面进入正题。一、问题提出ANN检索方法中，向量量化和乘积量化方法是基于查找表的，查找表是放在内存中的。基于hamming距离的方法检索速度快，1.5ms内可以扫描完1百万64bit的hamming码，但是检索结果又没有基于查找表的好。于是何
matlab最优化问题的函数(fminbnd),fmincon,globalsearch,multistart（全局局部最优）
三眼二郎
12-04 5万+
在讨论优化问题时我们先来讨论全局最优和局部最优 全局最优：问题所有的可能解中效果最好的解。 局部最优：问题的部分可能解中效果最好的解。 一个针对的全局，一个针对的部分。 就像我们设初值一样，设置了以后函数开始迭代变化。 这时可能出现两种现象 ①迭代到一个解，该解距离初值较近，此处该值很有可能是局部最优。 ②迭代到一个解，该解距离初值相对较远，此处该值很大可能是全局最优，当然也可能是局部最优。 上...
Learn What Not to Learn: Action Elimination with Deep Reinforcement Learning
Ray
06-06 294
文章来自 The Technion - Israel Institute of Technology（以色利理工学院），提出了一种适用于大型离散动作空间任务的方法 --- AE-DQN (Action-Elimination Deep Q-Network)。
ITQ(Iterative Quantization)图像检索算法
人工智能讲师团
07-05 5031
开发十年，就只剩下这套Java开发体系了 >>>    ...
强化学习Nips2020论文下载
11-16
总共178篇，基本涵盖了20年NIps上所有与强化学习相关的文章。 zip压缩包，不要解压密码，261M大小。 看一看顶会论文怎么写的，自己下笔也大概能有个章法，Good Luck！ 勤奋决定天分！
deep-rl-tensorflow：深度强化学习论文的TensorFlow实现
02-06
TensorFlow中的深度强化学习TensorFlow实施深度强化学习论文。 该实现包含： [1] [2][3][4][5]（进行中） [6]（正在进行中） [7]（进行中） [8]（正在进行中）要求Python 2.7 或 用法首先，使用以下命令安装必备组件...
HKO-7:论文源代码“ [NIPS2017]深度学习临近沉淀”-Source code learning
03-25
论文的源代码 如果您使用该代码或对它有帮助，请引用以下文章： @inproceedings{xingjian2017deep, title={Deep learning for precipitation nowcasting: a benchmark and a new model}, author={Shi, Xingjian ...
CB_AE_DQN:情境强盗行动消除DQN
05-10
由于精确算法的指数成本，“维数诅咒”是机器学习中的主要工程挑战之一。 这通常通过状态或动作空间的概括和近似来解决。 Mnih等人提出的深度Q网络（DQN）。 （2015），试图通过学习一个近似值函数来克服状态空间大小的依赖性。 但是，该方案不能解决动作空间大小的依赖性。 例如，在文本域中操作的代理程序通常除了处理较大的状态空间外，还处理非常大的离散操作空间。 这项工作建议利用薄弱的先验知识，使代理能够学习在每个状态下仅考虑行动的一小部分。 基于文本的游戏（TBG）是检验该假设的自然候选者，因此构建了一个新的框架，以允许DQN代理与流行的标题“ Zork I-伟大的地下帝国”进行交互。 实验表明，与尝试在整个操作空间中学习的原始DQN代理相比，当操作空间很大时，投机性限制方案可以很好地扩展和收敛，并且可以生成稳定的策略。 注意：此存储库中的代码是原始DQN代理的某种粗略修订，适用于TBG的域
NIPS2018_RCRN:Tensorflow源代码，用于“递归控制的递归网络”（NIPS 2018）-tensorflow source code
03-24
NIPS 2018 我们提出了一种新的递归控制循环网络（RCRN），该网络在许多NLP任务上都显示了对堆叠式BiLSTM和BiLSTM的改进。 根据定制的cuda优化内核，该存储库包含RCRN的Tensorflow模型文件。 如果有时间（已经有...
特征匹配评估资料
baidu_40840693的博客
04-30 2183
数据： http://www.robots.ox.ac.uk/~mobile/IJRR_2008_Dataset/data.html https://github.com/opencv/opencv_contrib/pull/2383 LOGOS: Local Geometric Support for High-Outlier Spatial Verification 2018...
简单理解与实验生成对抗网络GAN
热门推荐
我爱智能
05-26 13万+
之前GAN网络是近两年深度学习领域的新秀，火的不行，本文旨在浅显理解传统GAN，分享学习心得。现有GAN网络大多数代码实现使用python、torch等语言，这里，后面用matlab搭建一个简单的GAN网络，便于理解GAN原理。GAN的鼻祖之作是2014年NIPS一篇文章：Generative Adversarial Net,可以细细品味。 分享一个目前各类GAN的一个论文整理集合 再分享一个目前各
论文笔记 - Learning Compact Binary Descriptors with Unsupervised Deep Neural Networks
qq_32417287的博客
05-06 1768
abstract Introduction Related Work Binary Descriptors Approach Overall Learning Objectives Learning Discriminative Binary Descriptors Learning Efficient Binary Descriptors Learning Rotation Invar...
生成对抗网络GANs（笔记一）主线
qq_21210467的博客
08-19 1万+
生成式对抗网络（Generative Adversarial Nets, GAN） 一、发展历程： 最开始接触GANs是因为想了解有关于在少量数据的情况下如何做数据增广。然后就了解到了DCGAN生成手写数字的案例，简直是惊为天人，然今才逐渐开始了解生成对抗网络的思想。到了后来一直想用生成对抗网络的思想做语音识别和语音合成这一方面，一直找到合适的资料。再后来，鬼使神差的想结合GANs来做毕业论文...
NIPS 2018 接收论文list 完整清单
TomRen
09-12 1万+
NIPS2018 接收论文包括poster、tutorial、workshop等，目前官网公布了论文清单： https://nips.cc/Conferences/2018/Schedule 同时还给出了workshop介绍。
CVPR 2016 摘要阅读
Tsingzao的博客
08-02 3万+
为了说明看过CVPR2016全部文章的摘要，总结一下，摘要只保留了创新点部分。 ORAL SESSION Image Captioning and Question Answering Monday, June 27th, 9:00AM - 10:05AM. These papers will also be presented at the following poster sessio
Learning Compact Binary Descriptors with Unsupervised Deep Neural Networks
cv_family_z的博客
09-19 2033
CVPR2016 开源代码： https://github.com/kevinlin311tw/cvpr16-deepbit本文通过深度学习网络来学习 Compact Binary Descriptors ， 亮点是 Unsupervised，在优化函数里面加入了三个约束： 1) minimal loss quantization 2) evenly distributed codes
CS231N最新课件 12（2019）
10-27
"CS231N最新课件12（2019）是斯坦福大学计算机视觉课程的一部分，由李飞飞、Justin Johnson和Serena Yeung三位教授主讲，专注于深度学习和卷积神经网络（CNN）的基础教学。这门课程尤其适合那些希望深入了解深度学习...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值