新KG视点 | 白硕—大模型时代的知识图谱

OpenKG

大模型专辑

导读 知识图谱和大型语言模型都是用来表示和处理知识的手段。大模型补足了理解语言的能力，知识图谱则丰富了表示知识的方式，两者的深度结合必将为人工智能提供更为全面、可靠、可控的知识处理方法。在这一背景下，OpenKG组织新KG视点系列文章——“大模型专辑”，不定期邀请业内专家对知识图谱与大模型的融合之道展开深入探讨。本期特别邀请到恒生电子研究院院长白硕分享“大模型时代的知识图谱”，本文整理自白硕老师在中国计算机学会CCF Talk上的分享。

分享嘉宾 | 白硕 恒生电子研究院院长

笔记整理 | 邓鸿杰

内容审定 | 陈华钧

---

01

大模型发展路线

众所周知，大模型这个话题从去年十一月份以来都是比较热，它的出现实际上是代表了通用人工智能的一个重大的突破，也是自然语言理解或者自然语言处理领域一个重大的突破。但这个重大的突破比我们预想来得要早一些，它发生的这个部位也跟很多人的预测不太一致。那么众所周知，大模型是起源于transform这样一项技术，这个技术实际上是分成了两派，一派是以谷歌为代表，就是我们看到的下面走的一条路，bert可能很多人都熟悉。还有一派是上面这条路，这个是以openai公司为代表，他们做出来的东西是GPT系列。可能很多人都把这个关注点放在谷歌这样一条线上，都期待他们会先突破。但是实际的情况是openai这条线率先出现了这么一个突破，或者说产生了这个涌现的这样一个现象，这就是大家熟知的一个目前都在用的大模型。那么这两条技术路线有什么分别呢？GPT这条路线，它是一个从左到右生成的一个路线，可以叫词语接龙。底下是以谷歌为代表的这样一个路线，它是一个双向的路线，可以叫做完形填空，就是说中间是空的，然后从左右两边去逼近它，去猜测这个中间是什么。这两种模型都是需要使用巨大的算力来做的。

我们简单举个例子看看接龙模型是什么样的，比如说：“如何开通”有个空白，那后边可能是股票或者账户当中的某一个字。然后再看那个填空的模型，那比如说：上海一个空交易所，那中间可能有证券、可能有期货、可能有黄金、可能有大数据等等，那么这些他们有不同的概率分布。这是大家看到的比较短的上下文。如果是很长的上下文，有很多的词语存在，这些词语都有可能对这个“空白处”的内容产生影响，那就需要去判断这些词语对“空白处”的影响大概是多少。

02

重大突破

那它实现了哪些突破呢？我们从学术上看、从自然语言理解的这个本身的难点上看，它出现了两个重大的突破。第一个突破就是远距离的关联。远距离关联说起来就是一个我现在要预测的词，可能跟之前第n个词是有关联的，而这个关联如果不把握住的话，你就没有办法去做预测，所以你要先去预测前面的。但前面的这个窗口开的越长，需要的算力就越大，要捕捉正确的那个能影响到现在需要预测的词语 也就越难。实际上用蛮力去解决这个问题还是需要一个精巧的模型。那么这个模型就是transform attention这样一套东西，所以是解决了这个问题。