AMiner会议论文推荐第三十六期

AMiner平台由清华大学计算机系研发，拥有我国完全自主知识产权。平台包含了超过2.3亿学术论文/专利和1.36亿学者的科技图谱，提供学者评价、专家发现、智能指派、学术地图等科技情报专业化服务。系统2006年上线，吸引了全球220个国家/地区1000多万独立IP访问，数据下载量230万次，年度访问量超过1100万，成为学术搜索和社会网络挖掘研究的重要数据和实验平台。

AAAI 2021 论文推荐

A Controllable Model of Grounded Response Generation

论文链接：https://www.aminer.cn/pub/5eb78919da5629cf244303ae/?conf=aaai2021

推荐理由： 当前的端到端神经对话模型自身缺乏灵活性，无法在响应生成过程中施加语义控制。这种控制能够确保用户的语义意图得到满足以及对生成的输出施加一定程度的特异性。单纯提高信息性的方法往往是以牺牲事实的准确性为代价的，GPT-2的事实 "幻觉 "倾向就证明了这一点。虽然上述情况可以通过获取背景知识来缓解，但在生成的响应中，相关性和信息性往往没有保证。作者提出了一个框架，并称之为可控基础响应生成（controllable grounded response generation，CGRG），其中词汇控制短语由用户提供或由内容规划者从对话背景和基础知识中自动提取。定量和定性结果表明，该框架在基于类似对话的Reddit数据集训练的GPT-2模型的性能优于强生成基线。

ICLR 2021 论文推荐

Free Lunch for Few-shot Learning: Distribution Calibration

论文链接：https://www.aminer.cn/pub/6006a6f091e0111a1b6a21ad/?conf=iclr2021

推荐理由： 从有限的样本数量中学习是具有挑战性的，原因在于学习到的模型很容易基于只有少数训练实例形成的偏态分布而变得过度拟合。作者通过从有足够例子的类中转移统计数据来校准这些少数样本类的分布，然后从校准分布中抽取足够数量的例子来扩展分类器的输入。本文假设特征表示中的每一个维度都遵循高斯分布，这样分布的均值和方差可以借鉴类似类的分布，这些类的统计量在有足够数量的样本的情况下能够被更好地估计。该方法可以建立在现成的预训练的特征提取器和分类模型之上，而不需要额外的参数。同时，作者表明一个简单的逻辑回归分类器若使用从上述校准分布中采样的特征进行训练，能够在两个数据集上超越最先进工作的准确性（与次优相比，miniImageNet上的改进约为5%）。

How Neural Networks Extrapolate: From Feedforward to Graph Neural Networks

论文链接：https://www.aminer.cn/pub/600831ee9e795ed227f530d6?conf=iclr2021

推荐理由： 作者研究通过梯度下降训练的神经网络如何进行外推，即它们在训练分布的支持之外学到了什么。从前的工作报告了使用神经网络进行外推时的混合经验结果：多层感知器（multilayer perceptrons ，MLPs）在某些简单的任务中不能很好地进行外推，而具有MLP模块的结构化网络——图形神经网络（Graph Neural Network ，GNN）在更复杂的任务中表现优秀。作者从理论上进行解释，确定了MLPs和GNNs推断良好的条件。首先，该工作量化了ReLU MLPs沿着从原点出发的任何方向快速收敛到线性函数的观察结果，这意味着ReLU MLPs不能外推大多数非线性函数。然而，当训练分布足够 "多样化 "时，它们被证明能够学习线性目标函数。其次，联系分析GNNs的成功和局限性，作者为所提出的假设提供了理论和经验证据：GNNs在将算法任务外推到新数据（例如，更大的图形或边缘权重）方面的成功依赖于在架构或特征中编码任务特定的非线性。

Human-Level Performance in No-Press Diplomacy via Equilibrium Search

论文链接：https://www.aminer.cn/pub/5f7ed5f691e011a5faf0fdc7/?conf=iclr2021

推荐理由： 该工作入选ICLR oral。以往人工智能在复杂游戏中的突破主要集中在纯对抗或纯合作的设定上。相比之下， Diplomacy是一个既涉及合作又涉及竞争的联盟变化游戏。出于这个原因，Diplomacy被证明是一个艰巨的研究挑战。在本文中，作者描述了一种用于Diplomacy游戏无压变体的代理，该代理将对人类数据的监督学习与通过外部遗憾最小化的一步看前搜索相结合。外部遗憾最小化技术是以往人工智能在对抗性游戏中取得成功的关键，但之前它并没有在涉及合作的大规模游戏中取得成功。作者表明其代理大大超过了过去的无压外交机器人的性能，并在一个流行的Diplomacy网站上玩匿名游戏时，于1128名人类玩家中取得了23名的排名。

Neural Synthesis of Binaural Speech

论文链接：https://www.aminer.cn/pub/600830f39e795ed227f53086/?conf=iclr2021

推荐理由： 该工作入选ICLR oral。作者提出了一种双耳声音合成的神经渲染方法，它能够实时产生逼真的、空间精确的双耳声音。该网络以单声道音源为输入，根据听众对于音源的相对位置和方向，合成双声道双耳声音作为输出。该工作在理论分析中研究了原始波形上l2-loss的不足，并引入了一种改进的loss以克服上述限制。在经验评估中，作者的方法首次产生了空间上精确的波形输出（通过真实录音测量），并且在数量上和感知研究上都以相当大的优势优于现有方法。

Theoretical Analysis of Self-Training with Deep Networks on Unlabeled Data

论文链接：https://www.aminer.cn/pub/5f80296f91e01119a5df7282/?conf=iclr2021

推荐理由： 该工作入选ICLR oral。自训练算法在使用神经网络对未标记数据进行学习的应用已经非常成功。然而，目前理论上对自训练的理解只适用于线性模型。该工作为半监督学习、无监督领域适应和无监督学习提供了一个统一的理论分析。作者分析的核心是一个简单但现实的 "扩展 "假设，即一个低概率的数据子集必须扩展到一个相对于子集具有大概率的邻域。同时，作者假设不同类的例子的邻域具有最小的重叠。该工作证明，在上述假设下，基于自我训练和输入一致性正则化的种群目标最小化器能够实现基线标签的高精度。通过使用现成的泛化边界，作者立即将这一结果转换为神经网络的样本复杂度保证，其结果有助于解释使用输入一致性正则化的自训练算法的经验成功。

EigenGame: PCA as a Nash Equilibrium

论文链接：https://www.aminer.cn/pub/5f77013191e011f31b980711/?conf=iclr2021

推荐理由： 该工作入选ICLR oral。作者提出了一种新的观点，将主成分分析（principal component analysis，PCA）视为一种竞争性游戏，其中每个近似特征向量都由一个玩家控制，而目标是最大化自己的效用函数。该工作分析了这种PCA游戏的特性及其基于梯度更新的行为。由此产生的算法结合了Oja规则的元素和广义的Gram-Schmidt正交化，因此可以通过消息传递进行并行化。同时，作者通过在大型图像数据集和神经网络激活上的实验来证明该算法的可扩展性，并讨论了这种将PCA视为可分化博弈的新观点如何能够带来进一步的算法发展。

Learning Generalizable Visual Representations via Interactive Gameplay

论文链接：https://www.aminer.cn/pub/600833c79e795ed227f531be/?conf=iclr2021

推荐理由： 越来越多的研究表明，各种动物物种中普遍存在的体感游戏对于发展创造性解决问题、决策和社会化的神经灵活性至关重要。然而，人们对人工代理的游戏影响知之甚少。虽然最近的工作已经产生了精通抽象游戏的代理，但这些环境与现实世界相去甚远，因此这些代理对体现型游戏的优势几乎不能提供深入的了解。在本文中，作者表明，在高保真、交互式的环境中，玩Cache（捉迷藏的一种变体）的具身对抗性强化学习代理，可以学习到他们观察到的编码信息的可概括的表征，如对象的永久性、自由空间和包含关系。上述结果为研究视觉的各领域如何通过互动发展提供了一个模型，为评估人工代理学习的内容提供了一个实验框架，并展示了从大型、静态、数据集转向体验、互动、表征学习的价值。

Invariant Representations for Reinforcement Learning without Reconstruction

论文链接：https://www.aminer.cn/pub/600833ce9e795ed227f531c2/?conf=iclr2021

推荐理由： 该工作入选ICLR oral。作者研究表征学习如何从丰富的观察结果（如图像）中加速强化学习，这种方式既不依赖领域知识，也不依赖像素重构。该工作的目标是学习能够提供有效的下游控制和任务相关细节不变性的表征。其中，双重模拟指标量化了连续MDP中状态之间的行为相似性，作者建议用它来学习稳健的潜伏表征，这些表征只对观察结果中与任务相关的信息进行编码。该方法训练编码器，使潜伏空间中的距离等于状态空间中的双模拟距离。作者使用修改后的视觉MuJoCo任务证明了其的方法在忽略任务相关信息方面的有效性，其中背景被移动的分心物和自然视频所取代，在实验中达到SOTA性能。同时，作者还测试了一个第一人称高速公路驾驶任务，在这个任务中，该方法学习了对云、天气和时间的不变性。

AMiner学术搜索，学者+论文助你快速获得想要信息：https://www.aminer.cn/

#AMiner# #论文#