2019 ACL ERNIE Enhanced Language Representation with Informative Entities 阅读笔记

自然语言表示模型如BERT预训练模型能够在大量的纯文本语料中获取丰富的语义信息，然后通过微调改进各种NLP任务的效果。然而，已有的预训练语言模型很少考虑结合知识图谱，其提供丰富的结构化知识，有利于语言理解。我们认为KG中的信息实体能够增强语言表示。本文中我们利用了大规模的文本语料和KG训练一个增强的语言表示模型（ERNIE），它能够同时充分利用词汇、语义和知识信息。实验表明ERNIE在各种知识驱动的任务中获得巨大提升，同时在其它通用NLP任务上能与BERT竞争。

 

完整版我写到知乎里了，没有在这边重新写一遍，还请见谅。

https://zhuanlan.zhihu.com/p/161947162

 

若有不当之处，还请批评指正，谢谢。