利用语义图谱技术构建大语言模型的细节讨论

大语言模型和人类思维的结构不一样。语义图谱更接近人类思维。

有一个介绍GPU能力的视频令人印象深刻。介绍人讲人类画画是用一支画笔在画，是一种单线的工作。而使用GPU渲染图画就好比用一个有许多根喷头的喷枪去喷出来一幅画一样。GPU规定每个喷枪喷什么颜色。喷涂的过程只需要几秒钟就完成了。GPU的工作是多线并行的。得益于GPU的不断发展，运行在GPU上的神经网络也日益成熟。现在火热的大语言模型就是在此基础上发展起来的。

和GPU不同，我们人类的思维就是单线任务。当我们要考虑一件事的各种可能性的时候，我们先要考虑完一种可能性，再去思考下一种可能性。运行在GPU上的神经网络可以进行并行计算。它可以同时计算各种可能性。下围棋的阿尔法狗就是这个模式。人类和阿尔法狗下棋就好像是一个人同时在和许多人下棋一样。这怎么可能赢？

各种生成式AI的大语言模型都是在阿尔法狗的基础上发展来的。

神经网络的这种运行模式和人类的思维模式显然不一样。人类的思维模式是基于逻辑推理的，更加高效和节省能源。

我们语义图谱就是模仿人类的逻辑推理能力来实现生成新知识的能力。神经网络是人工智能的一个派别，我们是另一个派别。辛顿教授讲一个是生物启发派，一个是逻辑启发派。而我则认为分别叫算力派和逻辑推理派比较合适。我们是后者。

现在虽然我们逻辑推理派看起来还很弱小，但未来最起码在设备端（手机、平板电脑）离线的状况下，我们一定能战胜以OpenAi为代表的算力派。以OpenAi为代表的神经网络产品在设备端离线的状况下无法运行。我们产品可以的。

建立语义图谱。

语义图谱是一种知识的存储形式。建立语义图谱是模拟人脑进行逻辑推理的基础。语义图谱以一个概念作为主题，以知识点作为基本内容，从不同的视角生成不同问法。主题+知识点+问法构成了语义图谱。借助语义图谱和语义计算技术可以计算知识点之间的包含关系、继承关系、否定对立关系、关联关系等等。不同主题的语义图谱也可以建立关联。众多不同主题的语义图谱构建起来一个大的语义网络。

每句话都是属于一定主题的。通过句子主干提取技术可以计算句子所属的主题。它通常处在句子主干第一个关键字的位置上。

把一篇文章变成不同的知识点，根据主题组织起来，再为每个知识点生成不同的问法，然后把矛盾冲突的地方去除，一个语义图谱就建立起来了。

语义图谱内部没有矛盾冲突。知识通过语义图谱有机地组织了起来。这让以语义图谱为基础的推理和生成新知识变得高效了很多。

利用语义图谱生成新知识。

建立语义图谱的过程本身就是生产新知识的过程。把一段话一篇文章变成语义图谱，先要确定不同的主题，然后根据文章内容围绕主题梳理知识点，最后根据知识点生产出不同的问法。

梳理知识点时要计算知识之间的包含关系、继承关系、否定对立关系、关联关系等等，确保建立的语义图谱内部没有冲突。借助语义图谱之间的关联和继承关系生成新知识，建立内容更加丰富全面的知识体系。可以参考旧知识生产新知识。

如果已经建立了“爬行动物”的语义图谱，就可以通过“鳄鱼是爬行动物”这个知识点，让“鳄鱼”这个主题的语义图谱继承“爬行动物”语义图谱的知识。通过“乌龟是爬行动物”这个知识点，把“乌龟”这个主题的语义图谱的一些知识提炼到“爬行动物”的语义图谱里。“鳄鱼是爬行动物”和“乌龟是爬行动物”，把“鳄鱼”和“乌龟”的知识点相互转移。通过“爬行动物不会飞”这知识点和“乌鸦会飞”的知识点把“乌鸦”和“爬行动物”区分开。

以语义图谱为基础技术的AI大脑虽然是单线工作的，它却每时每刻都在生产新知识，整理旧知识。

利用语义图谱做应用题。

把应用题变成一个语义图谱，用户就可以从各个角度去提问了。

利用语义图谱生成文章。

有了语义图谱就可以借助语义图谱去生产文章了。

首先需要对不同类型的文章概念建立起语义图谱，让机器理解各个类型的文章。生成文章时根据用户的提示和文章的概念生成不同类型的文章。

利用语义图谱写计算机程序。

原理和生成文章一样。

利用语义图谱进行机器翻译。

这个难度有点大。首先要建立不同语言的语义图谱，然后计算语义的相似性，根据语义图谱进行翻译。翻译的过程也需要建立动态临时的语义图谱。                                                                                                                                                                                                         

                                                                                                                                                                                                                                                                                                                                                                                                                                     

本人介绍的方法目前还在测试阶段。我们只完成了很小的一部分。

本文作者 氖星 彭军辉

本文最早发表于2024年3月24日