大模型检索增强(RAG)技术之——GraphRAG，知识库产品必不可少的技术

大靠山

于 2024-09-30 17:15:30 发布

阅读量476

点赞数 9

文章标签： python 人工智能算法 microsoft 机器人

本文链接：https://blog.csdn.net/m0_59235245/article/details/142660970

版权

“ RAG技术的重难点，是怎么更高效和更准确的检索数据 ”

知识库技术作为大模型技术的一个重要应用方向，也是对大模型技术的一个重要补充；特别是在问答系统，如智能客服等领域，知识库有着非同一般的作用。‍‍

从技术的角度来说，一个智能客服的好坏，除了大模型本身的质量之外，更多的是由知识库决定的。因此，知识库的作用不言而喻，而怎么才能做出一个合格的知识库，需要使用哪些技术。‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍

今天，我们就来讨论一下GraphRAG知识库技术。‍‍‍‍‍‍

GraphRAG

其实对很多不是特别了解知识库的人来说，总以为知识库和RAG是一个东西。‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍

但事实上，知识库和大模型并没有直接关系，甚至可以说知识库是知识库，大模型是大模型两者之间没有什么关联。它们是两种完全不同的技术，而且知识库的出现并不是因为大模型。‍‍‍‍‍‍‍‍‍‍

现在网上常把大模型和知识库放在一块，也经常听到有人说大模型知识库，包括作者自己。‍‍‍‍‍‍‍‍

从技术的角度来说，知识库和大模型是独立的两个技术或者说两个产品；而把它们两个进行关联的技术叫做——RAG 检索生成增强。‍‍‍‍‍‍‍‍‍‍

在之前的文章中也介绍过，知识库就相当于我们现实世界中的图书馆，档案室，资料库；里面存放了大量的资料，而我们平常遇到不懂的东西就可以去这些资料库里查资料。‍‍‍‍‍‍‍‍‍‍‍‍‍

大模型也是如此，由于大模型自身的缺陷等问题，导致大模型在某些方面会表现出知识不足的问题；因此，就给大模型配置了一个外部资料库，让它可以随时进行查阅，而这个外部资料库就叫做大模型知识库。‍‍‍

对大模型来说，这个资料库是什么样的不重要，怎么管理的，怎么运营的都不重要。‍‍‍‍‍‍‍

甚至很多人会认为，搭建知识库就必须要用到向量数据库，就必须使用向量检索。但事实上并非如此，知识库可以是任何形式，包括向量数据库，传统的结构化数据库和非结构化数据库，甚至是一些乱七八糟的文本文件，音视频等。‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍

因为，从RAG的技术流程上来说，用户发出提问之后，是有RAG去知识库中做知识匹配，然后把匹配到的知识和用户的问题通过提示词的方式一块输入给大模型，然后大模型根据这些知识做出回答。‍‍‍‍‍‍‍‍‍‍‍‍

上面就是RAG技术完整的执行流程，可以看出知识库和大模型并没有直接的交集，而是由RAG和知识库进行交流，然后把检索结果交给大模型。‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍

因此，知识库的重难点是怎么更加高效和准确的存储和检索知识；简单来说就是，如果有一个图书馆存储了全世界所有的书籍，资料；然后用户想问一个了解什么是大模型的问题，这时怎么用最快的速度，找到其中最准确，最权威的回答。‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍

而不是给你巴拉巴拉，要想了解什么是大模型就要学习线性代数，概率论，编程，算法等等。虽然它们也和大模型相关，但它们并没有准确的回答问题，而这就是RAG需要做的事情。‍‍‍‍‍‍‍‍

那什么是GraphRAG呢？‍‍

在传统的RAG技术中，施压的是向量格式的存储与检索，简单来说就是用embedding模型分析内容的语义，然后把它们存储到向量数据库中进行检索。‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍

而GraphRAG技术采用的是一种新的方式来存储和检索数据，那就是知识图谱。‍‍‍‍‍‍‍

知识图谱其实是著名的搜索引擎巨头——Google谷歌提出的一种智能搜索引擎；它的定义是结构化的语义数据库——用于迅速描述物理世界中的概念与其相互关系。‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍

从技术的角度来说，知识图谱是通过图结构的形式，把错综复杂的数据整理成一种简单的实体，关系实体的三元组，最后聚合大量知识从而实现知识的快速响应和推理。‍‍‍‍‍

如下图所示，就是一个简单的知识图谱：‍‍‍

而简单的理解知识图谱，就是一种更加高效组织和检索数据的一种技术；它能让RAG更加准确和快速的从复杂的知识中检索中需要的数据。‍‍‍‍‍‍‍‍

在前面的内容也说过，大模型其实并不和知识库打交道，它是通过RAG技术给大模型提供知识；因此，RAG技术的好坏就是它检索数据的效率和准确性。‍‍‍‍‍‍‍

因为基于知识图片构建的RAG技术，检索能力更强，也更准确；因此GraphRAG技术成为了一个热门的研究方向。‍‍‍‍‍‍‍‍‍‍‍‍

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述