【ICLR 2018录用结果出炉】23篇oral干货，强化学习、对抗网络、可解释性最受关注...

最新推荐文章于 2022-06-18 10:34:04 发布
最新推荐文章于 2022-06-18 10:34:04 发布
阅读量400 收藏
点赞数
文章标签： 人工智能 sketch java
原文链接：https://yq.aliyun.com/articles/417090
版权

Oral Papers：23篇

1、AmbientGAN: Generative models from lossy measurements

（AmbientGAN：来自有损测量的生成模型）

作者：Ashish Bora, Eric Price, Alexandros G. Dimakis（德州大学）

论文地址：https://openreview.net/forum?id=Hy7fDog0b

评分：7.33

简介：如何从嘈杂、扭曲、局部的观察中学习GAN；

关键词：生成模型，对抗网络，有损测量

2、Beyond Word Importance: Contextual Decomposition to Extract Interactions from LSTMs

作者：W. James Murdoch, Peter J. Liu, Bin Yu（伯克利大学、谷歌）

论文地址：https://openreview.net/forum?id=rkRwGg-0Z

评分：5.56

简介：这篇论文引入了“语境分解”，一种LSTM解释算法，能够提取单词、短语和交互级别的重要性分数。

关键词：可解释性，LSTM，自然语言处理，情感分析，交互

3、Zero-Shot Visual Imitation

作者：Deepak Pathak, Parsa Mahmoudieh, Michael Luo, Pulkit Agrawal, Dian Chen, Fred Shentu, Evan Shelhamer, Jitendra Malik, Alexei A. Efros, Trevor Darrell（伯克利大学）

论文地址：https://openreview.net/forum?id=BkisuzWRW

评分：6.91

简介：智能体在训练时在没有任何形式的监督的情况下从自己的经验学习，并在测试时学习模仿单纯的视觉演示（没有动作）。

关键词：模仿，zero shot，自我监督，机器人，技能，导航，操纵

4、Variance Reduction for Policy Gradient with Action-Dependent Factorized Baselines

作者：Cathy Wu, Aravind Rajeswaran, Yan Duan, Vikash Kumar, Alexandre M Bayen, Sham Kakade, Igor Mordatch, Pieter Abbeel（伯克利大学、华盛顿大学）
论文地址：https://openreview.net/forum?id=H1tSsb-AW
评分：6.91

简介：依赖于动作的基线可以是无偏倚的，并且可以产生比策略梯度方法的只依赖于状态基线更大的方差缩减。
关键词：强化学习，策略梯度，方差缩减，基线，控制变量

5、Progressive Growing of GANs for Improved Quality, Stability, and Variation

作者：Tero Karras, Timo Aila, Samuli Laine, Jaakko Lehtinen（英伟达）

论文地址：https://openreview.net/forum?id=Hk99zCeAb
评分：5.67

简介：该研究以渐进的方式训练生成对抗网络，从而能够生成高质量的高分辨率图像。

关键词：生成对抗网络，无监督学习，层级方法

6、Neural Sketch Learning for Conditional Program Generation

作者：Vijayaraghavan Murali, Letao Qi, Swarat Chaudhuri, Chris Jermaine（莱斯大学）

论文地址：https://openreview.net/forum?id=HkfXMz-Ab
评分：7.44

简介：这篇文章提出一种用类似Java语言生成类型安全程序的方法，只需给出少量关于所需代码的语法信息。

关键词：程序生成，源代码，程序综合，深度生成模型

7、Boosting Dilated Convolutional Networks with Mixed Tensor Decompositions

作者：Nadav Cohen, Ronen Tamari, Amnon Shashua

论文地址：https://openreview.net/forum?id=S1JHhv6TW
评分：8.00

简介：引入混合张量分解的概念，并用它证明相互连接的扩张的卷积网络提升了它们的表达能力。

关键词：深度学习，表现效率，扩张卷积，张量分解

8、Continuous Adaptation via Meta-Learning in Nonstationary and Competitive Environments

作者：Maruan Al-Shedivat, Trapit Bansal, Yura Burda, Ilya Sutskever, Igor Mordatch, Pieter Abbeel（CMU、UMASS、OpenAI、berkeley）

论文地址：https://openreview.net/forum?id=Sk2u1g-0-
评分：7.80

简介：将持续适应问题转换为learning-to learn框架，开发了一个简单的基于梯度的meta-learning算法，适应动态变化和对抗情况。

关键词：强化学习，非平稳性，meta-learning，迁移学习，多智能体

9、Breaking the Softmax Bottleneck: A High-Rank RNN Language Model

作者：Zhilin Yang, Zihang Dai, Ruslan Salakhutdinov, William W. Cohen（CMU）

论文地址：https://openreview.net/forum?id=HkwZSG-CZ
评分：6.31

简介：将语言建模作为一个矩阵分解问题，并表明基于Softmax的模型（包括大多数神经语言模型）的表达能力受到Softmax瓶颈的限制，提出了一个简单而有效的方法来解决这个问题。

10、Characterizing Adversarial Subspaces Using Local Intrinsic Dimensionality

作者：Xingjun Ma, Bo Li, Yisen Wang, Sarah M. Erfani, Sudanthi Wijewickrema, Grant Schoenebeck, Michael E. Houle, Dawn Song, James Bailey（墨尔本大学）

论文地址：https://openreview.net/forum?id=B1gJ1L2aW
评分：7.25

简介：我们通过使用局部本质维数（LID）描述对抗样本中对抗子空间的维度属性，并且证明这些特征可以有效地区分对抗样本。

关键词：对抗子空间，局部本质维数，对抗防御，深度神经网络

11、Learning to Represent Programs with Graphs

作者：Miltiadis Allamanis, Marc Brockschmidt, Mahmoud Khademi（微软、SFU）

论文地址：https://openreview.net/forum?id=BJOFETxR-
评分：8.00

简介：程序具有可以表示为图形的结构，图神经网络可以学习在这些图形上发现bug

关键词：程序，源代码，图神经网络

12、Spectral Normalization for Generative Adversarial Networks

作者：Takeru Miyato, Toshiki Kataoka, Masanori Koyama, Yuichi Yoshida
论文地址：https://openreview.net/forum?id=B1QRgziT-
评分：7.33

简介：我们提出一种称为spectral normalization的新的权重归一化技术，以稳定GAN鉴别器的训练。

关键词：生成对抗网络，深度生成模型，无监督学习

13、Wasserstein Auto-Encoders

作者：Ilya Tolstikhin, Olivier Bousquet, Sylvain Gelly, Bernhard Schoelkopf

论文地址：https://openreview.net/forum?id=HkL7n1-0b
评分：8.00

简介：我们提出了一种基于Wasserstein距离的自动编码器，改进了VAE的采样性能。

关键词：自动编码器，生成模型，GAN，VAE，无监督学习

14、Deep Mean Field Games for Learning Optimal Behavior Policy of Large Populations

作者：Jiachen Yang, Xiaojing Ye, Rakshit Trivedi, Huan Xu, Hongyuan Zha

论文地址：https://openreview.net/forum?id=HktK4BeCZ
评分：8.50

简介：通过MFG和马尔可夫决策过程的综合推断大型群体行为的MFG模型。

关键词：平均场博弈，强化学习，马尔可夫决策过程，逆强化学习，深度学习，逆向最优控制，计算社会科学，群集建模

15、Certifiable Distributional Robustness with Principled Adversarial Training

作者：Aman Sinha, Hongseok Namkoong, John Duchi（斯坦福大学）

论文地址：https://openreview.net/forum?id=Hk6kPgZA-
评分：9.00

简介：本文提出一个快速、基于规则的对抗训练程序，具有计算和统计上的性能保证。

关键词：对抗训练，分布式鲁棒优化，深度学习，优化，学习理论

16、On the insufficiency of existing momentum schemes for Stochastic Optimization

作者：Rahul Kidambi, Praneeth Netrapalli, Prateek Jain, Sham M. Kakade

论文地址：https://openreview.net/forum?id=rJTutzbA-
评分：6.14

简介：现有的动量/加速方法，如胖球法（heavy ball method）和Nesterov加速梯度法不能改善随机梯度下降，尤其是在使用小的batch size时。

关键词：随机梯度下降，深度学习，动量，加速，heavy ball，Nesterov加速，随机优化，SGD，加速随机梯度下降

17、Ask the Right Questions: Active Question Reformulation with Reinforcement Learning

作者：Christian Buck, Jannis Bulian, Massimiliano Ciaramita, Wojciech Gajewski, Andrea Gesmundo, Neil Houlsby, Wei Wang.（谷歌）

论文地址：https://openreview.net/forum?id=S1CChZ-CZ
评分：5.83

简介：我们提出一个位于用户和黑箱问答系统之间的智能体，它学习重新构造问题以引出最好的答案。

关键词：机器翻译，转述，问答，强化学习，智能体

18、Spherical CNNs

作者：Taco S. Cohen, Mario Geiger, Jonas Köhler, Max Welling

论文地址：https://openreview.net/forum?id=Hkbd5xZRb
评分：7.57

简介：我们提出Spherical CNN，并将其应用于3D模型识别和分子能量回归。

关键词：深度学习，同变性，卷积，3D，视觉，形状识别

19、Emergence of Linguistic Communication from Referential Games with Symbolic and Pixel Input

作者：Angeliki Lazaridou, Karl Moritz Hermann, Karl Tuyls, Stephen Clark

论文地址：https://openreview.net/forum?id=HJGv1Z-AW
评分：6.85

简介：对应急通信协议中环境对性质的作用进行了对照研究。

关键词：解缠，通信，应急语言，合成，多代理

20、Training and Inference with Integers in Deep Neural Networks

作者：Shuang Wu, Guoqi Li, Luping Shi, Feng Chen（清华大学）

论文地址：https://openreview.net/forum?id=HJGXzmspb
评分：6.27

简介：我们在DNN中仅使用低位整数进行训练和推理

关键词：量化，训练，bitwidth，三元权重

21、Multi-Scale Dense Networks for Resource Efficient Image Classification

作者：Gao Huang, Danlu Chen, Tianhong Li, Felix Wu, Laurens van der Maaten, Kilian Weinberger（康奈尔大学、清华大学）

论文地址：https://openreview.net/forum?id=Hk2aImxAb
评分：8.33

简介：本文调查了图像分类与测试时间的计算资源限制。

关键词：高效学习，预算学习，深度学习，图像分类，卷积网络

22、Synthetic and Natural Noise Both Break Neural Machine Translation

作者：Yonatan Belinkov, Yonatan Bisk

论文地址：https://openreview.net/forum?id=BJ8vJebC-
评分：7.33

简介：NMT模型相当脆弱，容易受到噪音数据影响。本文用合成和自然的噪音作为NMT模型的对抗样本，探索提高模型鲁棒性的方法。

关键词：神经机器翻译，特征，噪声，对抗样本，稳健训练

23、On the Convergence of Adam and Beyond

作者：Sashank J. Reddi, Satyen Kale, Sanjiv Kumar（谷歌）

论文地址：https://openreview.net/forum?id=ryQu7f-RZ
评分：8.56

简介：我们研究了Adam，RMSProp等流行优化算法的收敛性，并提出了这些方法的新变体。

关键词：优化，深度学习，Adam，RMSProp


原文发布时间为：2018-01-31

本文作者：肖琴

本文来自云栖社区合作伙伴新智元，了解相关信息可以关注“AI_era”微信公众号

原文链接：【ICLR 2018录用结果出炉】23篇oral干货，强化学习、对抗网络、可解释性最受关注

weixin_34341229
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
TRAINING AND INFERENCE WITH INTEGERS IN DEEP NEURAL NETWORKS
田震宇
06-22 1059
本篇文章主要创新点在于不仅仅提供了对activation 和weights的量化，还通过同样的方式，对gradient和error进行了量化。将模型的量化做的更加深入。 这篇文章主要分为两块，第一块是知识铺垫，第二块是四个量化 知识铺垫 MACs（矩阵乘法）会导致量化bit增加 K指量化的bit数。这个图比较难理解的地方在于右边。[kE+kA−1][k_{E}+k_{A}-1][kE​+kA​−...
量化训练、推理神经网络-WAGE
crw1111111的博客
04-28 1396
1. WAGE背景介绍 WAGE（Training and Inference with Integers in Deep Neural Networks）是ICLR2018的Best Paper，这篇论文提出了一种量化神经网络的框架，可以将神经网络中的参数（Weight）、激活值（Activation）、梯度（Gradient）以及误差（Error）进行可选比特长度的整型量化。在本文中使用WiW...
「强化学习可解释性」最新2022综述
人工智能学家
01-17 1125
来源：图灵人工智能强化学习是一种从试错过程中发现最优行为策略的技术，已经成为解决环境交互问题的通用方法.然而，作为一类机器学习算法，强化学习也面临着机器学习领域的公共难题，即难以被人理解....
HIERARCHICAL INTERPRETATIONS FOR NEURAL NET- WORK PREDICTIONS
pixian3729的博客
10-17 482
文章目录HIERARCHICAL INTERPRETATIONS FOR NEURAL NET-WORK PREDICTIONS（神经网络预测的层次解释）主要概念及贡献具体方法1. 一般DNNs的上下文分解(CD)重要性得分2. agglomerative contextul decomposition （ACD）（凝聚的上下文分解） HIERARCHICAL INTERPRETATIONS FOR NEURAL NET-WORK PREDICTIONS（神经网络预测的层次解释） 主要概念及贡献 主要思想：
知识图谱入门 - 构建运维知识图谱前站
yuezhilangniao的博客
06-18 1189
什么是知识：Plato：是永恒不变的且适用于世间万物的真理。 Davenportr：是与经验（Experience）、背景（Context ） 、 解 释 （ Interpretation ） 和 思 考 （reflection）结合在一起的信息，是一种可以随时帮助人们决策与行动的高价值信息。 Harris：是信息、文化脉络及经验的组合。 Feigenbaum：是经过消减、塑造、解释和转换的信息，即知识就是经过加工的信息。 Bernstein：由特定领域的描述、关系和过程组成。 Hayes-Roth：是事实
解释和促进对抗性可转移性的统一方法(ICLR2021).zip
03-31
解释和促进对抗性可转移性的统一方法(ICLR2021)
ICLR2018抢先看！深挖对抗训练：提高模型预测分布的鲁棒性, Wasserstein鲁棒更新方法WRM，以及Eart.htm
11-29
机器学习 深度学习 pytorch tensorflow 贝叶斯 神经网络 算法
ICLR-2019-Oral.zip
10-09
ICLR是Yann LeCun 、Yoshua Bengio 等几位行业顶级专家于2013年发起，如今已成为深度学习领域一个至关重要的学术盛事，每年一届，每届包括24篇Oral论文以及诺干Poster论文。
ICLR 2018.rar
01-21
ICLR 2018会议论文集
可解释模糊强化学习：这些函数实现了可解释模糊强化学习（IFRL）。-matlab开发
05-29
代码的详细信息、解释和用法将在以后添加。
基于强化学习的可解释性推荐 文献三篇
白水的博客
03-02 1382
A Reinforcement Learning Framework for Explainable Recommendation. IEEE 2018 现在很多推荐模型的机制是复杂且难以解释的，此时需要在对推荐结果进行事后解释，即把推荐模型与解释模型分离开，用单独的模型推荐结果作出解释。本文使用强化学习方法对推荐结果生成解释。在这个可解释框架中，被解释的推荐模型作为环境的一部分，对强化学习方法生成的句子解释进行奖励。框架中有两个智能体与环境交互，第一个智能体根据当前状态生成句子解释，第二个智能体根据第一个
BinaryConnect: Training Deep Neural Networks with binary weights during propagations 论文笔记
Jayxbx的博客
06-08 2817
0 摘要     深度神经网络在大量任务中取得了最先进的成果。GPU因为其更快的计算速度，帮助深度网络实现了这些突破。未来，在训练和测试时更快的计算速度对于进一步发展，以及能够在低功耗设备上的消费级别的应用可能至关重要。因此，对深度学习专用硬件的研究和开发展开了新的热潮。二值权重，即仅限于两个可能值（例如-1或1）的权重，通过用简单累加代替许多乘法—累加操...
Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference
holmosaint的博客
09-05 3934
摘要 作者提出了一种只使用整数运算的quantization方式，比起float point运算效率更高。同时提出了一种相应的训练方式来保证quantization之后的准确率。这篇文章的方法提升了accuracy和on-device latency之间的trade off，并且可以在MobileNets上使用。 1 introduction 作者总结了目前有效将庞大的神经网络应用在资源更为...
ICCV2019 | 北航、百度与华为联合提出贝叶斯优化的1-Bit CNNs
AMiner2006的博客
11-16 1624
Bayesian Optimized 1-Bit CNNs 论文作者：Jiaxin Gu, Junhe Zhao,Xiaolong Jiang,Baochang Zhang,Jianzhuang Liu, Guodong Guo, Rongrong Ji（北京航空航天大学，百度深度学习研究院，华为诺亚方舟实验室等） 论文地址：https://arxiv.org/pdf/1908.06314v1...
网络加速和压缩技术论文整理
mingo_敏
05-07 3302
从加速和压缩本身来说，两者不是同一件事，但通常情况下我们往往会同时做加速和压缩，两者都会给网络的计算带来收益，所以我们习惯将它们放在一起来讲。 低秩近似（low-rank Approximation），网络剪枝（network pruning），网络量化（network quantization），知识蒸馏（knowledge distillation）和紧凑网络设计（compact Networ...
嵌入式和移动深度学习研究
Mars_WH的专栏
08-30 1604
转载自：https://github.com/EMDL/awesome-emdl 文章目录EMDLPapersSurveyModelSystemQuantizationPruningApproximationCharacterizationLibrariesInference FrameworkOptimization ToolsResearch DemosWebTutorialsGeneralN...
神经网络的模型压缩---论文
dfql83704的博客
01-03 914
模型压缩经典的论文总结于此，方便以后查找！！！ Survey Recent Advances in Efficient Computation of Deep Convolutional Neural Networks, [arxiv '18] A Survey of Model Compression and Acceleration for Deep Neural Netw...
强化学习-最前沿之NeverNet
Dr.Zee的博客
10-02 863
2009年，图神经网络首先被提出。这两年大热大火的图神经网络也在2018年ICLR上首次被运用在了强化学习当中，并命名为NeverNet，到今天已经有众多文章跟进了该方向。
请给出MIA，MICCAI，MICCAI，NIPS，CVPR，ICLR在2018到2023年的语义分割方面的高亮工作
最新发布
05-26
5. ICLR：2021年的ICLR会议上，一篇名为“Semantic Image Synthesis via Adversarial Learning”的论文提出了一种基于对抗学习的语义图像合成方法。该方法能够从语义标签生成具有高质量的图像，并在图像合成中保留了...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值