【文献阅读】ERNIE: Enhanced Representation through Knowledge Integration

Sun Y, Wang S, Li Y, et al. Ernie: Enhanced representation through knowledge integration[J]. arXiv preprint arXiv:1904.09223, 2019.

Abstract

知识增强的新语言表示模型

ERNIE 旨在学习通过知识掩蔽策略增强的语言表示，包括实体级掩蔽和短语级掩蔽。
实体级策略屏蔽了通常由多个单词组成的实体。 短语级策略隐藏了整个短语，它由几个单词组成一个概念单元。

Introduction

Word2V ec (Mikolov et al.， 2013)和Glove (Pennington et al.， 2014)中的方法将单词表示为向量，其中相似的单词有相似的单词表示。 这些词表示为其他深度学习模型中的词向量提供了初始化。

该模型无法根据哈利波特和 J.K.罗琳的关系预测哈利波特。直观的是，如果模型学习更多的先验知识，模型可以获得更可靠的语言表示。

除了基本的掩蔽策略外，我们还使用了两种知识策略：短语级策略和实体级策略。通过这种方式，在训练过程中隐含地学习了短语和实体的先验知识。

ERNIE 不是直接添加知识嵌入，而是隐式学习有关知识和较长语义依赖的信息，例如实体之间的关系、实体的属性和事件的类型，以指导词嵌入学习。这可以使模型具有更好的泛化性和适应性。

ERNIE在异构中文数据上进行了预训练，然后应用于5个中文NLP任务。

主要贡献：

1. 引入了一种新的语言模型学习处理，它掩盖了短语和实体等单元，以便从这些单元中隐式地学习