Bert不完全手册7. 为Bert注入知识的力量 Baidu-ERNIE & THU-ERNIE & KBert

🚀 优质资源分享 🚀

学习路线指引（点击解锁）	知识定位	人群定位
🧡 Python实战微信订餐小程序 🧡	进阶级	本课程是python flask+微信小程序的完美结合，从项目搭建到腾讯云部署上线，打造一个全栈订餐系统。
💛Python量化交易实战💛	入门级	手把手带你打造一个易扩展、更安全、效率更高的量化交易系统

借着ACL2022一篇知识增强Tutorial的东风，我们来聊聊如何在预训练模型中融入知识。Tutorial分别针对NLU和NLG方向对一些经典方案进行了分类汇总，感兴趣的可以去细看下。这一章我们只针对NLU领域3个基于实体链接的知识增强方案Baidu-ERNIE，THU-ERNIE和K-Bert来聊下具体实现~

知识增强

Knowledge is any external information absent from the input but helpful for generating the output

Tutorial里一句话点题，知识就是不直接包含在当前文本表达中的，但是对文本理解起到帮助作用的补充信息，大体可以分成

• 通用领域：例如中国的首都是北京
• 特殊领域：例如医疗，金融，工业等场景中的领域知识,
• 常识：例如狗有4条腿，鸡不会飞，猪不能上树

常规预训练预语料也是包含部分知识的，不过受限于知识出现的频率，以及非结构化的知识表征，预训练任务的设计等等因素，知识信息往往等不到充分的训练，因此BERT不可避免会给出一些不符合知识但是符合语言表达的预测结果，于是有了尝试在预训练阶段融入结构化知识信息的各种尝试

LM中融入知识的一般分成3个步骤：定位知识(knowledge grounding)，知识表征(knowledge representation)，融入知识(knowledge fusion)，这么说就像把大象放进冰箱一样easy，不过实现起来细节问题颇多，例如定位知识时的消歧问题，知识表征和文本表征的不一致问题，知识融入时如何不干扰原始的上下文语义等等，下面我们来看下3种不同的增强方案

Baidu-ERNIE

• paper: ERNIE: Enhance