NAACL2021丨Knowledge Guided Metric Learning for Few-Shot Text Classification

---

作者：凯
单位：燕山大学

---

论文链接：https://www.aclweb.org/anthology/2021.naacl-main.261/

Abstract

人类可以在很少的例子中非常有效地区分新类别，主要是由于人类可以利用从相关任务获得的知识。然而，基于深度学习的文本分类模型往往会在标记数据稀缺时难以实现满意的性能。由此，我们在小样本学习任务上引入外部知识。为此我们提出一种新的参数生成器网络，使用该网络，类似的任务可以使用类似的度量，而不同的任务使用不同的度量。通过实验，我们证明了我们的方法优于之前的SOTA文本分类模型。

Introduction

在小样本学习中的关键挑战是充分利用有限标记的例子来查找“正确的”概括。度量学习是一个有效的结局小样本学习问题的方法。在文本分类中直接采用基于度量的方法面临着任务多样化并且意义不同的问题，因为对于一个任务来说，具有高度信息的词语可能与其他任务不相关。
为了解决度量学习中任务多样性的问题，我们提出了一种知识引导的度量学习方法。我们使用知识库的外部知识来模仿人类知识，而且在以前的工作中忽略了外部知识的重要性。我们利用KB的分布式表示而不是象征性的事实，因为象征性的事实面临着较差的普遍和数据稀疏性。基于此类KB Embeddings，我们提出了一种新颖的参数生成器网络来生成任务相关的关系网络参数。通过这些生成的参数，任务相关的关系网络能够对不同的任务应用不同的度量，并确保类似的任务使用类似的度量，而不同的任务使用不同的度量。

Contributions：

1. 受到人类智慧的鼓舞，我们提出了第一种将外部知识引入小样本学习的方法。
2. 提出了一种基于外部知识的新颖参数发生器网络，为不同的任务生成各种度量。
3. 公共数据集的实验结果表明，我们的模型显着优于以前的方法。

Methodology

模型输入：支持集和查询集的向量$x_i=([$CLS$],w_1,w_2$