ICLR 2020 中的 Attention Papers

最新推荐文章于 2022-04-19 22:31:44 发布
最新推荐文章于 2022-04-19 22:31:44 发布
阅读量944 收藏 4
点赞数
分类专栏： MyDLNote-Attention 文章标签： 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u014546828/article/details/105960135
版权

ICLR 2020 中的 Attention Papers

关键词：注意力机制

 

ICLR 2017-2019 中的 Attention Papers

CVPR 2019 中的 Attention Papers

CVPR 2018 中的 Attention Papers

CVPR 2017 中的 Attention Papers

ICCV 2019 中的 Attention Papers

ICCV 2017 中的 Attention Papers

ECCV 2018 中的 Attention Papers

Reformer: The Efficient Transformer 

Nikita Kitaev, Lukasz Kaiser, Anselm Levskaya

26 Sep 2019 (modified: 11 Mar 2020) ICLR 2020 Conference Blind Submission

 

Depth-Adaptive Transformer 

Maha Elbayad, Jiatao Gu, Edouard Grave, Michael Auli

26 Sep 2019 (modified: 11 Mar 2020) ICLR 2020 Conference Blind Submission

 

Logic and the 2-Simplicial Transformer 

James Clift, Dmitry Doryn, Daniel Murfet, James Wallbridge

26 Sep 2019 (modified: 11 Mar 2020) ICLR 2020 Conference Blind Submission

 

On Identifiability in Transformers  

Gino Brunner, Yang Liu, Damian Pascual, Oliver Richter, Massimiliano Ciaramita, Roger Wattenhofer

26 Sep 2019 (modified: 11 Mar 2020) ICLR 2020 Conference Blind Submission

 

Are Transformers universal approximators of sequence-to-sequence functions? 

Chulhee Yun, Srinadh Bhojanapalli, Ankit Singh Rawat, Sashank Reddi, Sanjiv Kumar

26 Sep 2019 (modified: 11 Mar 2020) ICLR 2020 Conference Blind Submission

 

Transformer-XH: Multi-Evidence Reasoning with eXtra Hop Attention 

Chen Zhao, Chenyan Xiong, Corby Rosset, Xia Song, Paul Bennett, Saurabh Tiwary

26 Sep 2019 (modified: 11 Mar 2020) ICLR 2020 Conference Blind Submission

 

Robustness Verification for Transformers 

Zhouxing Shi, Huan Zhang, Kai-Wei Chang, Minlie Huang, Cho-Jui Hsieh

26 Sep 2019 (modified: 07 Apr 2020) ICLR 2020 Conference Blind Submission

 

Compressive Transformers for Long-Range Sequence Modelling 

Jack W. Rae, Anna Potapenko, Siddhant M. Jayakumar, Chloe Hillier, Timothy P. Lillicrap

26 Sep 2019 (modified: 11 Mar 2020) ICLR 2020 Conference Blind Submission

 

Reducing Transformer Depth on Demand with Structured Dropout 

Angela Fan, Edouard Grave, Armand Joulin

26 Sep 2019 (modified: 11 Mar 2020) ICLR 2020 Conference Blind Submission

 

Lite Transformer with Long-Short Range Attention 

Zhanghao Wu*, Zhijian Liu*, Ji Lin, Yujun Lin, Song Han

26 Sep 2019 (modified: 27 Apr 2020) ICLR 2020 Conference Blind Submission

 

Monotonic Multihead Attention 

Xutai Ma, Juan Miguel Pino, James Cross, Liezl Puzon, Jiatao Gu

26 Sep 2019 (modified: 11 Mar 2020) ICLR 2020 Conference Blind Submission

 

Pay Attention to Features, Transfer Learn Faster CNNs 

Kafeng Wang, Xitong Gao, Yiren Zhao, Xingjian Li, Dejing Dou, Cheng-Zhong Xu

26 Sep 2019 (modified: 11 Mar 2020) ICLR 2020 Conference Blind Submission

 

Learning deep graph matching with channel-independent embedding and Hungarian attention 

Tianshu Yu, Runzhong Wang, Junchi Yan, Baoxin Li

26 Sep 2019 (modified: 11 Mar 2020) ICLR 2020 Conference Blind Submission

 

Tree-Structured Attention with Hierarchical Accumulation 

Xuan-Phi Nguyen, Shafiq Joty, Steven Hoi, Richard Socher

26 Sep 2019 (modified: 11 Mar 2020) ICLR 2020 Conference Blind Submission

 

Adaptive Structural Fingerprints for Graph Attention Networks 

Kai Zhang, Yaokang Zhu, Jun Wang, Jie Zhang

26 Sep 2019 (modified: 11 Mar 2020) ICLR 2020 Conference Blind Submission

 

Capsules with Inverted Dot-Product Attention Routing 

Yao-Hung Hubert Tsai, Nitish Srivastava, Hanlin Goh, Ruslan Salakhutdinov

26 Sep 2019 (modified: 11 Mar 2020) ICLR 2020 Conference Blind Submission

 

Hyper-SAGNN: a self-attention based graph neural network for hypergraphs 

Ruochi Zhang, Yuesong Zou, Jian Ma

26 Sep 2019 (modified: 11 Mar 2020) ICLR 2020 Conference Blind Submission

 

U-GAT-IT: Unsupervised Generative Attentional Networks with Adaptive Layer-Instance Normalization for Image-to-Image Translation 

Junho Kim, Minjae Kim, Hyeonwoo Kang, Kwang Hee Lee

26 Sep 2019 (modified: 28 Apr 2020) ICLR 2020 Conference Blind Submission

 

SPACE: Unsupervised Object-Oriented Scene Representation via Spatial Attention and Decomposition 

Zhixuan Lin, Yi-Fu Wu, Skand Vishwanath Peri, Weihao Sun, Gautam Singh, Fei Deng, Jindong Jiang, Sungjin Ahn

26 Sep 2019 (modified: 11 Mar 2020) ICLR 2020 Conference Blind Submissio

 

On the Relationship between Self-Attention and Convolutional Layers 

Jean-Baptiste Cordonnier, Andreas Loukas, Martin Jaggi

26 Sep 2019 (modified: 11 Mar 2020) ICLR 2020 Conference Blind Submission

 

Deep Learning For Symbolic Mathematics 

Guillaume Lample, François Charton

26 Sep 2019 (modified: 11 Mar 2020) ICLR 2020 Conference Blind Submission

Phoenixtree_DongZhao
关注
  • 0
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
workshop_of_NAS_ICLR2020.rar
05-19
ICLR 2020 线上会议已经圆满结束。此次会议关于NAS的研究主题包括对benchmark的探讨、对于流行的NAS方法的理解和分析，以及如何提高NAS方法的精度和效率等。值得一提的是，此届会议举办了ICLR历史上的第一个神经网络...
Hyper-SAGNN: a self-attention based graph neural network for hypergraphs, ICLR, 2020
Jing Sir的博客
04-07 2576
Hyper-SAGNN: a self-attention based graph neural network for hypergraphs, ICLR, 2020 Zhang R, Zou Y, Ma J. Hyper-SAGNN: a self-attention based graph neural network for hypergraphs[J]. arXiv preprint arXiv:1911.02613, 2019. 此篇论文所提出的方法首次将超图结构从k均衡扩展到了非均衡，即每
ICLR 2020趋势分析：NLP中更好&更快的Transformer
hwaust2020的博客
05-31 313
文章目录自注意力变体Long-Short Range Attention使用子树掩码的树结构的注意力哈希注意力多跳注意力训练目标识别替换任务词和句子结构任务类型限制的实体替换嵌入位置感知的复杂词向量层次嵌入分解的嵌入参数模型结构压缩记忆可逆层交叉层参数共享自适应深度预测总结 转载来源：https://mp.weixin.qq.com/s/hbx4DryEaaB0TlJPH7uyyA 导读：介绍了ICLR2020中对Transformer的改进，从自注意力变体，训练目标，模型结构这三个方面对Transfor
对“超图学习”相关优势及适用范围的学习及整理
Jing Sir的博客
04-02 4842
主要参考的文献为高跃老师实验室发表的多篇论文，以及最新的超图相关论文； [1]Yifan Feng, Haoxuan You, Zizhao Zhang, Rongrong Ji, Yue Gao, Hypergraph Neural Networks, AAAI, 2019. [2] Jianwen Jiang, Yuxuan Wei, Yifan Feng, Jingxuan Cao, Yue Gao, Dynamic Hypergraph Neural Networks, IJCAI, 2.
顶会速递 | ICLR 2020录用论文之自然语言处理篇
语言智能技术笔记簿
03-12 5172
人工智能顶会ICLR 2020录用的自然语言处理相关的研究论文已经为大家准备好，欢迎Mark学习！
必读：ICLR 2020 的50篇推荐阅读论文
AI科技大本营
10-30 1万+
来源 |香侬科技本文整理了ICLR2020的相关论文，此次分享的是从Openreview中选取的部分论文，共50篇，其中大部分为NLP相关。文中涉及的相关论文推荐指数与推荐理由仅为个人观点，利益无关，亦不代表香侬科技立场。希望大家可以从中获得启发。推荐指数4.0论文论文1Reducing Transformer Depth on Demand with Structured Dropoutht...
MetaAttack_ICLR2020
04-25
该论文可引述如下： @inproceedings{Du2020Query-efficient,title={Query-efficient Meta Attack to Deep Neural Networks},author={Jiawei Du and Hu Zhang and Joey Tianyi Zhou and Yi Yang and Jiashi Feng},...
ICLR 2020 # 微软亚洲研究院精选论文解读（附4篇优质文章）
04-23
本文为大家介绍的4篇微软亚洲研究院精选论文分别研究了 BERT 在机器翻译中的应用，有理论保障的对抗样本防御模型 MACER，一种新的基于自我博弈的文本生成对抗网络（GAN）训练算法，以及可广泛应用于视觉-语言任务的...
pytorch-ensembles:深度学习中域内不确定性估计和组合的陷阱，ICLR 2020
05-03
PyTorch的官方实现： 深度学习中域内不确定性估计和集合的陷阱，ICLR'20 / / // 海报视频（5分钟） 环境设定 以下内容允许使用创建并运行具有所有必需依赖项的python环境： conda env create -f condaenv.yml ...
FasterSeg:[ICLR 2020]“ FasterSeg
05-04
在ICLR 2020中。 概述 我们对斯图加特城市景观演示视频的预测＃0 我们介绍FasterSeg，这是一种自动设计的语义分割网络，它不仅具有最新的性能，而且比当前方法具有更快的速度。 强调： 新颖的搜索空间：支持多...
CAPSULES WITH INVERTED DOT-PRODUCT ATTENTION ROUTING
06-02
计算机视觉Github开源论文
OCR读书笔记
sinat_28685897的博客
04-20 687
【1】Zhou et al. Informer:Beyond Efficient Transformer for Long Sequence Time-Series Forecasting. AAAI 2021 Best Paper. 长序列的时序预测问题（LSTF）要求模型具有很高的预测能力，即能够有效地捕捉输出和输入之间精确的长程相关性，Transformer具有此方面的潜力但仍存在一些严重问题，如二次方的时间复杂度，高内存使用率，以及encoder-decoder体系结构的固有限制。...
[解读] Capsules with Inverted Dot-Product Attention Routing
天在那边
06-21 836
本文提出一种新的胶囊网络路由算法, 主要有以下三个亮点: 首先通过一个反向的点积注意力来设计路由, 其次使用层规范化方法, 最后使用并发迭代路由的方法来取代序列式的迭代. 论文链接: https://arxiv.org/abs/2002.04764v2 开源代码: https://github.com/apple/ml-capsules-inverted-attention-routing https://github.com/yaohungt/Capsules-Inverted-Attention-Rou
ConvBERT: Improving BERT with Span-based Dynamic Convolution论文的阅读笔记
Harry的博客
04-19 2672
ConvBERT 论文地址https://arxiv.org/pdf/2008.02496.pdf 1. 论文中指出的BERT以及相关变体的问题 1. Bert 以及相关变体严重依赖于全局自注意力模块，这导致了模型占用了很大内存和计算成本，但是根据现有的最新论文和观察attention map发现一些注意力的头只学习到了局部依赖，也就是用全局注意力模块学习局部依赖，造成了计算的浪费和计算的冗余。 2. 自然语言中的固有特征，局部依赖性强。 3.在对下游任务进行微调时，移除一些注意力的头没有降低性能.
ICLR2020国际会议精彩演讲抢先看（含源码）！！
yinizhilianlove的博客
02-21 2万+
来源：AINLPer微信公众号（点击了解一下吧） 编辑: ShuYini 校稿: ShuYini 时间: 2020-02-21     2020年的ICLR会议将于今年的4月26日-4月30日在Millennium Hall, Addis Ababa ETHIOPIA（埃塞俄比亚首都亚的斯亚贝巴 千禧大厅）举行。     2020年ICLR会议（Eighth International Con...
收藏！编码器中如何融入结构信息？这几篇论文一定不要错过
算法码上来
02-18 1371
引言 编码器已经成为了很多 NLP 模型中的基本结构。不管你是做机器翻译，还是做句法分析，不管你是需要得到单词的上下文表示，还是需要得到句子的表示，你都需要一个强有力的编码器。输入一个句子，编码器最终输出每个单词的表示或者整个句子的表示。 而近些年来 NLP 领域用的比较多的编码器有 CNN ，RvNN ，RNN （尤其是 LSTM）和 Tr...
Hierarchical Attention Network for Document Classification阅读笔记
呜呜哈的博客
06-22 1万+
最近看了”Hierarchical Attention Network for Document Classification”一篇文章，也在网上找了一些资料结合理解，发现在此之前有篇文章跟他提出的模型架构基本相似，只不过不包含attention机制：“Document Modeling with Gated Recurrent Neural Network for Sentiment Class
NLP面试题汇总1（吐血整理）
热门推荐
GFDGFHSDS的博客
10-08 7万+
统计学习方法笔记 当正负样本极度不均衡时存在问题！比如，正样本有99%时，分类器只要将所有样本划分为正样本就可以达到99%的准确率。但显然这个分类器是存在问题的。当正负样本不均衡时，常用的评价指标为ROC曲线和PR曲线。 概率模型：决策树、bayes、HMM、CRF、概率潜在语义分析、潜在狄利克雷分析lda、高斯混合模型（一定可以表示为联合概率分布的形式，）概率模型的代表是概率图模型，即联合概率分布由有向图或者无向图表示的模型，而联合概率可以根据图的结构分解为因子乘积的形式。Bayes，CRF，HMM都是概
ICLR latex
最新发布
08-08
ICLR是国际学习表示与学习系统会议（International Conference on Learning Representations）的缩写。关于ICLR的LaTeX格式要求，根据引用内容，可以得出以下结论： ICLR对论文的格式要求使用LaTeX进行准备。在准备...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值