AMiner会议论文推荐第三十四期

AMiner平台由清华大学计算机系研发，拥有我国完全自主知识产权。平台包含了超过2.3亿学术论文/专利和1.36亿学者的科技图谱，提供学者评价、专家发现、智能指派、学术地图等科技情报专业化服务。系统2006年上线，吸引了全球220个国家/地区1000多万独立IP访问，数据下载量230万次，年度访问量超过1100万，成为学术搜索和社会网络挖掘研究的重要数据和实验平台。

AAAI 2021 论文推荐

CARE: Commonsense-Aware Emotional Response Generation with Latent Concepts

论文链接：https://www.aminer.cn/pub/5fd9f33091e0111ad2b255f2/?conf=aaai2021

推荐理由：理性和情感是人类生活的两个基本要素。赋予代理人理性和情感是人工智能领域的里程碑之一。然而，在对话式人工智能领域，现有的大多数模型只专注于其中一个方面，而忽视了另一个方面，这导致反应呆板或不相关。在本文中，作者假设将理性和情感结合到对话代理中可以提高响应质量。为了验证上述假设，该工作专注于理性的一个基本方面——常识，并提出了CARE：一个用于常识感知的情感响应生成的新型模型。具体来说，作者首先提出了一个框架，用于学习和构建给定输入信息和所需反应的常识感知情绪潜概念。接着，他们提出了三种方法将潜概念纳入到响应生成中。在两个大规模数据集上的实验结果支持了该假设，并表明其模型能够产生更准确、更具有常识意识的情感响应。


Informer: Beyond Efficient Transformer for Long Sequence Time-Series Forecasting

论文链接：https://www.aminer.cn/pub/5fd8acf991e0119b22c1f38d/

推荐理由：该工作为AAAI 2021最佳论文。许多实际应用需要对长序列时间序列进行预测，例如耗电量计划。长序列时间序列预测（ Long sequence time-series forecasting，LSTF）需要模型具备高预测能力，即能够有效捕获输出和输入之间精确的长程依赖。近期研究表明Transformer能够提高预测能力，但将其直接应用LSTF面临着几个严重问题：二次时间复杂度，高内存使用率，以及编码器-解码器体系结构的固有限制。为了解决这些问题，作者为LSTF设计了一个基于Transformer的模型——Informer，它具有三个独特的特征：（1）自注意机制，该机制在时间复杂度和内存使用上达到O(L\log{L})，并且在序列依赖性上更具可比性。（2）自注意蒸馏（self-attention distilling）通过将级联层输入减半来突出注意力，能够有效地处理极长的输入序列。（3）生成样式解码器虽然在概念上很简单，但它能够在一次向前操作中预测较长的时间序列序列，而非一步步进行预测，从而极大地提高了长序列预测的推断速度。在四个大型数据集上进行的大量实验表明，Informer的性能明显优于现有方法，为LSTF问题提供了新的解决方案。



Exploration-Exploitation in Multi-Agent Learning: Catastrophe Theory Meets Game Theory

论文链接：https://www.aminer.cn/pub/5fcf50dd91e011f4c80bac68/

推荐理由：该工作为AAAI 2021最佳论文。探索-开发是多代理学习(multi-agent learning，MAL)中一个强大而实用的方法。为理解其效果，作者探究了一种Q-learning的平滑模拟。具体而言，该工作证明了平稳的Q-learning在任意博弈中有受限回归的成本模型，该成本模型可明确捕获探索和利用的成本之间的平衡，并且始终收敛于标准解决方案概念的量化响应均衡（quantal-response equilibria，QRE）集中，适用于有限理性下的博弈与具有异构学习主体的加权潜在博弈。在该工作的主要任务中，作者转向衡量探索对集体系统绩效的影响。他们描述了低维MAL系统中QRE面的几何特征，并将其发现与灾难（分叉）理论联系起来。在此基础上，作者提供了一个形式化的理论处理方法，以证明调整探索参数可以导致平衡选择，对系统性能产生积极或消极（或潜在的无限制）的影响。




Mitigating Political Bias in Language Models Through Reinforced Calibration

论文链接：https://www.aminer.cn/pub/601cb7309e795ee647cc9829/

推荐理由：该工作为AAAI 2021最佳AISI论文。当前的大规模语言模型可能会因为它们所训练的数据而产生政治偏见，在它们被部署在真实世界的环境中时导致严重问题。在本文中，作者描述了衡量GPT-2生成中政治偏见的度量标准，并提出了一个用于缓解生成文本中政治偏见的强化学习（reinforcement learning ，RL）框架。通过使用来自词嵌入或分类器的奖励，作者提出的RL框架能够指导去偏见的生成，而无需访问训练数据或要求重新训练模型。在对政治偏见敏感的三个属性（性别、位置和主题）的实证实验中，根据设定指标和人类评估，作者的方法能够减少偏见并保持可读性和语义一致性。

ICLR 2021 论文推荐

Dataset Condensation with Gradient Matching

论文链接: https://www.aminer.cn/pub/5ee3526a91e011cb3bff7431/?conf=iclr2021
推荐理由：该工作入选ICLR oral。在复杂架构和大规模数据集时代，深度神经网络的高效训练变得越来越重要。本文提出了一种名为Dataset Condensation的训练集合成技术，该技术可以在原始数据上用所需计算成本的一小部分学习产生一小套信息样本，以从头开始训练深度神经网络，同时获得可比的结果。作者严格评估了该方法在几个计算机视觉基准中的性能，并表明它的性能明显优于最先进的方法。同时，该工作展示了其方法在持续学习和领域适应中的应用前景。




Gradient Projection Memory for Continual Learning

论文链接: https://www.aminer.cn/pub/6008312b9e795ed227f5309f/?conf=iclr2021

推荐理由：该工作入选ICLR oral。在不忘记过往任务的情况下持续学习的能力是人工学习系统的一个理想属性。在人工神经网络中实现这种学习的现有方法有：网络增长、基于重要性的权重更新或从内存中重放旧数据。作者提出了一种新的方法：神经网络通过在正交方向上对过去任务认为重要的梯度子空间上采取梯度步骤来学习新任务。该工作通过分析单次学习任务后的网络表征(激活)，找到这些子空间的基础，并用梯度投影记忆( Gradient Projection Memory ，GPM)的方式将它们存储在记忆中。作者通过定性和定量分析表明了正交梯度分解对过去任务的干扰最小，能够减轻遗忘。作者在不同的图像分类数据集上对其算法进行了评估，与最先进的方法相比，它具有更好的性能。

订阅了解更多论文信息，定制您的个人科研动态信息流：https://www.aminer.cn/user/notification?f=mt