AMiner会议论文推荐第四十四期

AMiner平台由清华大学计算机系研发，拥有我国完全自主知识产权。平台包含了超过2.3亿学术论文/专利和1.36亿学者的科技图谱，提供学者评价、专家发现、智能指派、学术地图等科技情报专业化服务。系统2006年上线，吸引了全球220个国家/地区1000多万独立IP访问，数据下载量230万次，年度访问量超过1100万，成为学术搜索和社会网络挖掘研究的重要数据和实验平台。

ICLR 2021 论文推荐

ICLR，全称为「International Conference on Learning Representations」（国际学习表征会议），2013 年开始每年举办一次，该会议已经得到学术研究者们的广泛认可，被认为是深度学习领域的顶级会议。ICLR 2021共收到了2997篇论文投稿，相比去年的2594篇论文投稿，增加了15.5%。其中860篇论文被接收，接收率为28.7%，这些论文有53篇分布在Oral，114篇分布在Spotlight以及693 篇将会用Poster展示。其中，论文接收量排名前二十的研究机构为谷歌、斯坦福大学、UC伯克利大学、卡纳基梅隆大学、麻省理工学院、微软、KAIST、牛津大学、Facebook、蒙特利尔大学、苏黎世联邦大学、华盛顿大学、Deepmind、清华大学、德克萨斯大学奥斯汀分校、剑桥大学、普林斯顿大学、多伦多大学、南加州大学。

Rethinking Attention with Performers

论文链接：https://www.aminer.cn/pub/5f75feb191e0111c1eb4dbb2/?conf=iclr2021

推荐理由： 本文入选ICLR 2021 oral。来自谷歌、剑桥大学、DeepMind、阿兰·图灵研究所的研究者提出了一种新的 Transformer 架构——Performer，它能以可证明的精度估计常规（softmax）全rank-attention Transformers，而仅使用线性空间和时间复杂度、不依赖于任何前设（如稀疏性或低rankness）。为了逼近softmax注意力核，Performers使用了一种新颖的快速注意力通过正交随机特征方法（FAVOR+）。Performers是与常规Transformers完全兼容的线性架构，具有很强的理论保证：无偏或近乎无偏的注意力矩阵估计，均匀收敛和低估计方差。作者在从像素预测0到文本模型再到蛋白质序列建模的任务集上测试了Performers，展示了它所利用的新型注意力学习范式的有效性。

Iterated learning for emergent systematicity in VQA

论文链接：https://www.aminer.cn/pub/6008329a9e795ed227f53121/?conf=iclr2021

推荐理由： 本文入选ICLR 2021 oral。虽然神经模块网络在架构上偏向于组成性，但它们需要精准的布局才能在实践中系统地通用。然而，当代替布局和模块共同学习时，组成性不会自动产生，需要一个明确的压力才能表现出正确结构的布局。作者提出利用迭代学习来解决上述问题，迭代学习是组成性语言的认知科学理论，主要应用于机器学习中的简单应用中。将模块网络的布局视为一种新兴语言的样本，作者使用迭代学习来鼓励语言中结构的发展。该工作表明，由此产生的布局支持神经代理解决更复杂的视觉问题-回答任务的系统化泛化。上述正则化迭代学习方法在SHAPES-SyGeT(SHAPES系统泛化测试)和CLOSURE(CLEVR的扩展，也是为了测试系统泛化)上的表现优于没有迭代学习的基线。

AMiner，一个具有认知智能的学术搜索引擎：https://www.aminer.cn/

#AMiner# #论文#