泛读论文（四） SMedBERT

Introduction

 使用预训练模型已经成为大部分NLP任务的标配，因此近年来有大量的工作围绕着如何提高预训练模型的质量。其中，引入外部知识无疑是最热门的话题之一。 SMedBERT 模型，这是在医疗领域中，首次将知识图谱中的医学实体，连同实体关系中的结构化语义信息，同时引入到预训练模型中。利用该预训练模型，在下游包括MRC、语义匹配、NER等任务都带来指标提升。

Q：为什么要引入外部知识？

A：主要的动机在于，自然语言中蕴含了大量背景知识、逻辑关系等“不可见”的信息。而大型预训练模型的底层逻辑，依然是由“共现”实现的。但现实则是我们往往无法找到足够丰富的文本数据，同时又要求这些文本包含了完备的领域知识，尤其像复杂如医学领域。另一方面，现有工作大多只利用linked-entity作为辅助知识，而忽略了实体与相邻实体在结构上也存在语义信息。