中科院韩先培：预训练模型怎样成为下一代知识图谱

【专栏：研究思路】随着大规模预训练模型的快速发展，许多研究者都在期待，模型能够将通用的知识抽取到通用的知识库/知识图谱中，为构建新的AI节省开发的时间和精力，让研究者能够更加专注于构建AI专门的能力上。

然而，超大规模预训练模型是否有成为下一代知识图谱的潜质？在近期的青源Talk活动中，中科院软件所韩先培研究员通过列举在预训练模型上开展的实验认为：预训练模型具有知识预测的能力，但是其仍存在很多缺陷，一是大规模预训练语言模型的工作机理还不明确；二是基于提示语的知识提炼手段，仍处于初步阶段，之前研究的一些评估手段都不可靠。

韩先培研究员建议，当前需要一些系统性的机制探索，彻底明晰预训练模型的内部机制。当可以解释这些模型的时候，就可以信任它，作为一个可信任的知识图谱。同时，建立专业和标准的评估手段，对模型提炼的知识进行专业效果评估也十分关键。

本文整理自青源Talk第六期，视频回放链接：https://event.baai.ac.cn/activities/173

此外，韩先培研究员对青年学生的寄语如下：

韩先培，中科院软件所研究员，担任中文信息处理实验室副主任，入选国家优青、中国科协青年人才托举计划及北京智源青年科学家。主要研究方向为信息抽取、知识图谱及自然语言理解。

演讲：韩先培

整理：李栋栋

审校：戴一鸣

---

01

背景：预训练模型快速发展，引起知识图谱领域的讨论

（一）构建通用知识库成为AI的发展目标

现如今AI发展迅猛，各种模型层出不穷，但是依然局限于narrow AI，也就是窄AI、弱AI的范畴。我们做每一个任务、完成每一个需求，都需要完整地构建一套新的应用来做这件事。比如说，要理解自然语言、识别图片，或者做机器人的规划，都需要从头到尾去构建一个新的AI的agent来完成。</