“兰台知音”是怎样炼成的？ ——Agent+LLM+RAG架构之优秀实践

点

前言

数字罗塞塔计划公众号已于今年元旦重磅推出“兰台知音”档案知识问答系统

是不是看上去很简单的样子？赶紧问一个档案行业的业务或者技术问题测试一下，相信结果应该能让您满意。

那这么一个看似界面简单实则功能强大的档案知识问答系统是怎么炼成的呢？今天我们就从技术层面来揭开“兰台知音”的神秘面纱。

一、“兰台知音”的技术架构

从技术架构上来看，除了最上面的用户界面层和最下面的档案知识库之外，“兰台知音”最核心的部分就是被称为知识问答系统三件套的AI智能体（AI Agent，简称“Agent”）、检索增强生成（Retrieval-Augmented Generation，RAG）和大语言模型（Large Language Model，LLM）。以下自顶向下逐层进行介绍：

1、用户界面层

这是用户直接交互的部分，用于接收用户输入的诸如档案业务相关问题，并展示Agent给出的回答结果。

2、智能体（Agent）层

任务分解模块

与用户界面层相连，接收用户的问题，将复杂问题拆解成多个简单的子任务，例如把“档案借阅违反规定后的处理措施以及相关法规溯源”这样的问题拆分为“查找档案借阅违规处理措施”和“确定对应处理措施的法规出处”等子任务。

决策模块

根据问题类型以及RAG、LLM 等情况，决定调用RAG、LLM 或者二者结合等不同的策略来获取答案。例如对于简单明确的法规条款查询，优先调用RAG。

学习更新模块

一方面通过档案知识库语料的不断更新，定期获取最新档案业务知识；另一方面通过记录用户的提问情况、反馈信息等，不断优化自身任务分解、决策等处理逻辑。

对话管理模块

负责处理多轮对话，保存与用户对话的上下文信息，比如用户先问了某个档案业务适用范围问题，后续追问在具体场景下如何操作，该模块能让Agent基于前面的问答内容准确回复后续追问。

3、大语言模型（LLM）层

语言模型接口

上下分别与Agent层、RAG层相连，按照Agent的调用请求或RAG检索到的文本，将问题或者相关文本输入到LLM中，获取其生成的回答或者推理结果。

大语言模型

语言模型接口后面的LLM已经比较成熟，类似“兰台知音”这样的互联网应用直接调用常见的LLM即可，比如文心、通义、豆包等；当然也可以选择档案行业垂直大模型，比如八九数码的语言模型89-LLM。

4、检索增强生成（RAG）层

向量数据库

存储经过向量化处理后的档案业务知识内容，例如将法规条文、标准条款、文件要求、案例解释等文本内容转化为向量形式存储，方便后续快速检索相似内容。

检索模块

接收Agent传过来的子任务或者问题相关信息，在向量数据库中进行检索，找到与之匹配度高的档案知识相关文本片段，然后将检索结果传递给LLM或者反馈给Agent，以便进一步处理。

5、档案知识库层

档案业务知识库

存放各类档案业务知识相关的原始资料文本内容（语料库），是整个系统知识的基础来源，为RAG层的向量数据库构建以及问题回答提供核心依据。首批入库的是大约2000份高质量的法律法规、标准规范、公众号文章、论文书籍等由罗塞塔团队优中选优的参考资料。后续我们还将实时订阅/爬取国内权威网站数据和文章，跟踪档案领域情报信息，不间断维护、更新本地知识库，为“兰台知音”的“出生”、“成长”、“成熟”提供源源不断的“养分”。

二、三件套之智能体（Agent）

Agent是一个能够感知环境、进行决策并采取行动的实体。它可以是软件程序、机器人或者其他具有自主性的系统。

Agent的工作流程是：

它就像一个聪明的“助手”，通过对指令的分析，明白每一步要做什么，然后逐个完成这些子任务。就如同员工在接到任务后，会根据任务的要求，有条不紊地完成各项工作。

下面结合“兰台知音”知识问答系统的常规服务领域——档案法规标准问答来解释Agent的功能。

三、三件套之大语言模型（LLM）

在“兰台知音”知识问答系统“三件套”架构中，LLM无疑占据着核心地位，它宛如一位知识渊博、能言善辩的档案专家，为整个系统注入强大的智慧力量。

当然，由于目前市场上绝大多数LLM都是通用大模型，在回答类似于档案行业这样的专业领域问题时容易出现“幻觉”（表现为“一本正经地胡说八道”），因此在实际应用中往往需要与Agent、RAG结合使用，以发挥本地知识库的价值和作用。

特别地，在“兰台知音”1.0版本构建过程中，为了更加精准地回答档案业务问题，我们指定所有的答案来源全部来自于本地知识库，相当于对LLM进行了“阉割”，只让其发挥在问题答案语言组织方面的能力。未来，随着LLM能力的进一步提升以及行业垂直大模型的出现，我们也会让LLM在“兰台知音”的后续版本中真正发挥核心作用。

四、三件套之检索增强生成（RAG）

正是由于LLM在回答特定领域或高度专业化的问题时存在局限性，容易产生“幻觉”，RAG应运而生。RAG就像是一个外挂，将外部数据检索集成到LLM的答案生成过程中，从而有效增强LLM提供准确响应的能力。RAG+LLM的工作原理如下图所示：

RAG的关键优势在于其灵活性和效率。与传统的LLM相比，RAG不需要为每个特定任务重新训练模型。开发人员可以轻松地添加外部知识库，从而丰富模型的输入信息，并显著提高输出的准确性和相关性。

简单来说，RAG的工作流程分解（即增强-检索-生成，实际上为A-R-G）如下图所示：

（1）

增强阶段：

语料库的划分与向量索引构建

首先，RAG将语料（文本）库划分为离散的块（Chunks），每个块代表一段信息。

然后，使用编码器模型（深度学习模型）为这些块构建向量索引，这些向量能够代表块的语义信息。这就像是为知识宝库中每一个块打造了一把精准的钥匙，方便后续快速定位所需信息。

（2）

检索阶段：

基于向量相似性的块检索

接着，通过计算检索词或问题与索引块之间的向量相似性，来识别和检索与检索词或问题最相关的块。

（3）

生成阶段：

响应合成与上下文信息获取

最后，根据检索到的块中获取的上下文信息，合成一个响应（生成文本内容）。由于这一过程不仅依赖于检索到的信息，还依赖上下文理解能力，一般需要通过调用LLM来生成更加精准和连贯的回答。

五、结语

通过上面的介绍，我想大家应该明白“兰台知音”是如何炼成的了，说白了，“兰台知音”实际上就是基于Agent+LLM+RAG架构的知识问答系统在档案领域的优秀实践。

实践证明，基于Agent+LLM+RAG这三件套技术组合，“兰台知音”不但有效规避了大模型常见的“幻觉问题”，提高了档案管理的智能化水平，优化了档案利用服务体验；而且增强了档案行业知识的广度和深度，也为应对行业知识更新的挑战提供了解决思路，有力推动了AI技术在档案领域的创新应用。

读者福利：如果大家对大模型感兴趣，这套大模型学习资料一定对你有用

对于0基础小白入门：

如果你是零基础小白，想快速入门大模型是可以考虑的。

一方面是学习时间相对较短，学习内容更全面更集中。
二方面是可以根据这些资料规划好学习计划和方向。

包括：大模型学习线路汇总、学习阶段，大模型实战案例，大模型学习视频，人工智能、机器学习、大模型书籍PDF。带你从零基础系统性的学好大模型！

😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓

👉AI大模型学习路线汇总👈

大模型学习路线图，整体分为7个大的阶段：（全套教程文末领取哈）

第一阶段： 从大模型系统设计入手，讲解大模型的主要方法；

第二阶段： 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用；

第三阶段： 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统；

第四阶段： 大模型知识库应用开发以LangChain框架为例，构建物流行业咨询智能问答系统；

第五阶段： 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；

第六阶段： 以SD多模态大模型为主，搭建了文生图小程序案例；

第七阶段： 以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。

👉大模型实战案例👈

光学理论是没用的，要学会跟着一起做，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

👉大模型视频和PDF合集👈

观看零基础学习书籍和视频，看书籍和视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。

👉学会后的收获：👈

• 基于大模型全栈工程实现（前端、后端、产品经理、设计、数据分析等），通过这门课可获得不同能力；

• 能够利用大模型解决相关实际项目需求： 大数据时代，越来越多的企业和机构需要处理海量数据，利用大模型技术可以更好地处理这些数据，提高数据分析和决策的准确性。因此，掌握大模型应用开发技能，可以让程序员更好地应对实际项目需求；

• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；

• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。

👉获取方式：

😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓