自然语言表示模型如BERT预训练模型能够在大量的纯文本语料中获取丰富的语义信息,然后通过微调改进各种NLP任务的效果。然而,已有的预训练语言模型很少考虑结合知识图谱,其提供丰富的结构化知识,有利于语言理解。我们认为KG中的信息实体能够增强语言表示。本文中我们利用了大规模的文本语料和KG训练一个增强的语言表示模型(ERNIE),它能够同时充分利用词汇、语义和知识信息。实验表明ERNIE在各种知识驱动的任务中获得巨大提升,同时在其它通用NLP任务上能与BERT竞争。
完整版我写到知乎里了,没有在这边重新写一遍,还请见谅。
https://zhuanlan.zhihu.com/p/161947162
若有不当之处,还请批评指正,谢谢。