组合泛化太难？试试解析式学习，100%准确率！

点击蓝字

关注我们

AI TIME欢迎每一位AI爱好者的加入！

近年来，深度学习模型在各种任务上都取得了非常大的成功。然而，不同于人类可以从少量样本中快速学习，深度学习模型的成功仍依赖于大量训练数据。那么，深度学习模型是否有可能拥有人类这种快速学习的能力呢？一个关键问题就在于深度学习是否可以拥有组合泛化能力。组合泛化是人类的一种基本而又必不可少的能力，通过理解已知部件的未知组合，人类可以利用有限的语言元素理解无限的自然语言世界。因此，越来越多研究者关注在组合泛化这个问题上，尤其是在AI编程领域。

2018年，纽约大学和Facebook的科学家们提出一个组合泛化领域的经典测试基准SCAN，测试任务是将诸如“run after walk”这样的自然语言解析成诸如“WALK RUN”这样的导航指令。然而他们发现，目前最先进的深度学习模型，甚至包括预训练模型，在这个测试基准上表现得都尤其差。为了解决这个问题，本文指出组合泛化的核心在于将语言看作某种代数系统，通过学习表达式来达成模型的组合泛化。在该思想的指导下，本文提出一种新颖的记忆增强的神经模型LANE，该模型在SCAN上取得了相当好的效果。

刘乾：北京航空航天大学与微软亚洲研究院联合培养博士，主要关注在上下文建模、语义解析、组合泛化等话题，目前以第一作者身份在ACL, EMNLP, NeurIPS等会议发表若干论文。

一、研究背景

组合泛化能力

人类天生具有组合泛化的能力，这体现在自然语言和程序语言中。正如语言学家乔姆斯基所言：“有限资源，无穷运用”，人类可以动态重组现有的原子语义。同样，程序语言的组合性，也使其具有无限空间。

在认知心理学中，组合泛化实际是一种能力，将简单的元素重组来理解全新的句子。例如，给定左侧这4个人造单词及其对应的颜色系列，人们可以将原子语义重新组合，从而轻易推断出新的例子“lug kiki wif”对应的颜色系列。