【非常详细】AI智能客服揭秘第3节：深入解析AI客服的核心能力——RAG技术！

经过研究，通常实现一个AI客服的主要工作如下：

🔍 ‌一、需求分析与场景定义‌

目标定位‌：明确客服场景（售前咨询/售后支持/特定服务等）及业务指标（如准确率>80%等）

渠道适配‌：确定接入和对外展示平台（网页 or  APP or 社交媒体）

🗃️ ‌二、数据知识工程构建‌

‌数据知识同步

历史对话日志（含用户问题、客服回复）

知识库文档（系统中的业务数据、产品手册PDF、政策网页文件、FAQ库）

网页数据

数据知识清洗‌

数据结构化，与格式处理。比如某些html内容格式统一转换为MD、PPT转MD、PDF转换为MD等

数据去噪（剔除无效对话、敏感信息脱敏）

数据打标(给某些分片数据增加索引和标签)

‌三、基座模型选择‌

通用文本模型：GPT-4o（准确率高）、GP4-4o-mini（速度快），企业用户通过Azure OpenAI购买使用。个人用户可以用开源的那些。

向量模型：text-embedding-ada-002、bge

重排序模型

⚙️ ‌四、对话系统设计‌

知识库技术：开源项目FastGPT、Dify、Coze、自研、RAG、知识图谱

向量数据库‌：PgVector

编程框架：langchain、langchain4j、SSE

本节分享一下在这其中涉及到的关键技术实现，也就是RAG。

之所以需要 RAG，是因为大语言模型本身存在一些局限性。

领域知识缺乏是最明显的问题。大模型的知识来源于训练数据，这些数据主要来自公开的互联网和开源数据集，无法覆盖特定领域或高度专业化的内部知识。信息过时则指模型难以处理实时信息，因为训练过程耗时且成本高昂，模型一旦训练完成，就难以获取和处理新信息。此外，幻觉问题是另一个显著的局限，模型基于概率生成文本，有时会输出看似合理但实际错误的答案。最后，数据安全性在企业应用中尤为重要，如何在确保数据安全的前提下，使大模型有效利用私有数据进行推理和生成，是一个具有挑战性的问题。

由于以上的一些局限性，大模型可能会生成虚假信息。为了解决这个问题，需要给大模型外挂一个知识库，这样大模型在回答问题时便可以参考外挂知识库中的知识，也就是 RAG 要做的事情。

对RAG理解和实践的越深，落地AI客服这种项目的时候，就更容易定位测试问题，更容易挑选合适的办法优化流程。

在学习AI的过程中，AI技术体系中的每一个小部分都可以进行深入探讨和项目落地。经过这个客服项目的研究，我们的目前的AI能力模型如下：

 

02

RAG基本介绍

想象你有个学霸朋友，他上知天文下知地理，但偶尔会一本正经地胡说八道：比如把明星八卦说成五年前旧闻，把公司报销政策编出根本不存在的条款，甚至在你问"今天股市行情"时，用2021年的数据跟你分析走势。这，就是现在大语言模型的真实写照！

不过别担心，人类给AI发明了"防胡说八道神器"——RAG技术！这就像给那个学霸朋友配了个随身图书馆，每次回答问题前，他都会先翻找最新资料确认。比如我们做智能客服时：

1️⃣【知识更新问题】好比给他一本实时更新的公司知识库，再也不会把已修改的售后服务政策说错

2️⃣【专业领域短板】就像突然获得行业秘籍，能准确回答"XX型号设备故障代码E2025是什么意思"这种专业问题

3️⃣【幻觉乱编问题】相当于安装真相校验器，遇到不确定的内容会自动查阅企业文件，避免编造不存在的产品参数

4️⃣【数据安全顾虑】所有资料查阅都在企业内部完成，就像把机密文件锁在保险柜里使用，绝不外泄

这套技术最神奇的是，不需要重新训练AI大脑（毕竟训练一次成本够买几栋楼），只要连接企业自己的知识库，就能让通用AI秒变行业专家。目前银行客服能准确报出最新利率，医疗助手能引用最新诊疗方案，都是靠这个"外接知识U盘"实现的。可以说，这就是AI从"理论派"进化成"实战派"的关键技术！

RAG（Retrieval Augmented Generation，检索增强生成）技术正是在这样的背景下应运而生，成为了当前大模型应用的重要技术方向。

RAG 技术使开发者能够在无需为每个特定任务重新训练或微调大模型的情况下，通过连接外部知识库和文档，为模型注入额外的非参数化知识，从而显著提升其在专业领域的能力和回答精度。

RAG是一种将信息检索与生成模型相结合的混合架构。首先，检索器从外部知识库或文档集中获取与用户查询相关的内容片段；然后，生成器基于这些检索到的内容生成自然语言输出，确保生成的内容既信息丰富，又具备高度的相关性和准确性。

对于我们做AI客服来说，很多时候都是基于整合后的【私域知识】来提供业务，因此在这其中通过RAG这种，我们可以非常方便的将知识变成个人的问答服务。

选择 RAG 而不是直接将所有知识库数据交给大模型处理，主要是因为模型能够处理的 token 数有限，输入过多 token 会增加成本。更重要的是，提供少量相关的关键信息能够带来更优质的回答。

一张图看下RAG的基础原理：

图片来自论文 Retrieval-Augmented Generation for Large Language Models: A Survey

RAG 通过引入外部知识库，利用检索模块（Retriever）从大量文档中提取相关信息，并将这些信息传递给生成模块（Generator），从而生成更准确且有用的回答。

通过这个RAG，可以给你升级成"RAG加强版学霸"——他答题前会先翻你的企业文件柜，就像这样：

【传统AI】vs 【RAG版AI】

▌当被问"服务器故障代码E105"

❌传统版：根据过时记忆瞎猜："建议重启三次后跳祈雨舞"

✅RAG版：秒查最新维修手册："请检查冷却系统，参考2024版手册第38条"

▌当需要"最新医保政策解读"

❌传统版：用三年前政策编造"住院补贴每日500元"

✅RAG版：实时调取卫健委红头文件："2024年起补贴调整为800元"

✨ 技术白话解释：

RAG就像给AI装了个智能搜索引擎+参考答案库，实现"三步精准答题法"：

1️⃣【智能检索】先在企业知识库里"划重点"

2️⃣【交叉验证】比对权威资料和实时数据

3️⃣【锁定输出】只采用有凭据的正确答案

这种"先查资料再作答"的机制，让通用AI秒变精通你公司规章制度、产品参数、行业标准的专属顾问，而且资料库更新时，AI的认知会自动升级，无需重新训练这个"钢铁大脑"。

对于这种客服系统，RAG 可以动态地将用户的询问与最新的产品信息、客服知识等外部数据相结合，生成的回答更加贴合客户的实际需求，且满足企业要求。

03

RAG技术流程

首先看下这张来自于极客时间实战专栏：RAG 快速开发实战中的分享：

这个图的标准说法如下：

RAG 标准流程由索引（Indexing）、检索（Retriever）和生成（Generation）三个核心阶段组成。

索引阶段，通过处理多种来源多种格式的文档提取其中文本，将其切分为标准长度的文本块（chunk），并进行嵌入向量化（embedding），向量存储在向量数据库（vector database）中。

检索阶段，用户输入的查询（query）被转化为向量表示，通过相似度匹配从向量数据库中检索出最相关的文本块

最后生成阶段，检索到的相关文本与原始查询共同构成提示词（Prompt），输入大语言模型（LLM），生成精确且具备上下文关联的回答。通过这一流程，RAG实现了检索与生成的有机结合，显著提升了 LLM 在领域任务中的准确性和实时性。

如果不太理解的话，这里举个生活化的例子🍕，想象你经营一家披萨店，要训练AI接单机器人：

【原始版流程】

顾客问："海鲜披萨含哪些过敏原？"

AI直接背诵三年前的菜单："含龙虾、面粉"

【RAG增强版流程】

1️⃣索引阶段：把最新菜单、食安报告、过敏源数据库扫描存档，像给厨房建了个智能档案库

2️⃣检索阶段：听到"过敏原"关键词，瞬间调出2025年新版海鲜配方表和当日进货检测报告

3️⃣生成阶段：结合实时数据作答："今日海鲜披萨含南极磷虾（甲壳类过敏原），使用花生油煎制"

总结起来就是三个步骤的流水线，

🔍 步骤一：建立智能图书馆

▌操作：把公司手册/产品文档/报表等资料

 ① 切块：像披萨分片，每块300-500字（刚好烤盘大小）

 ② 编码：转化成AI能懂的"条形码"（嵌入向量）

 ③ 入库：存进带智能检索功能的档案柜（向量数据库）

🕵️ 步骤二：秒级情报搜索

▌当顾客问："XX设备维护周期？"

 ① 翻译问题：把问题转成特殊密码（查询向量化）

 ② 精准匹配：在档案柜找出最相关的3份说明书（相似度TOP3）

🧠 步骤三：专家级应答

▌组装证据包：把找到的说明书+原始问题打包

▌交AI分析师：生成带参考文献的答案：

"根据2025版《XX设备维护指南》第5章，建议每季度保养1次（附保养清单PDF链接）"

再来看看向量的概念和语义搜索。

我们可以把一只鸟通过向量大模型进行向量化：

或者说你有两个水果，我们可以把2个水果通过不同的维度计算出来一个向量的值，形成一个向量的数组，例如：

苹果：[红色: 0.92, 甜度: 0.83, 圆形: 0.78]

草莓：[红色: 0.85, 甜度: 0.75, 圆形: 0.62]

虽然苹果和草莓是不同的水果，但它们的向量很接近。这表明它们有相似的特性，比如颜色和甜度。但如果你把“老虎”表示成向量，则和苹果的向量就不接近。通过比较向量的“距离”，计算机能快速判断哪些事物是相关的。

理解了向量后，我们也需要知道在RAG中，一个重要的搜索方法就是基于向量的语义相似性搜索：

语义检索是通过向量距离，计算用户问题与知识库内容的距离，从而得出“相似度”，当然这并不是语文上的相似度，而是数学上的。

优点：

相近语义理解

跨多语言理解（例如输入中文问题匹配英文知识点）

多模态理解（文本，图片，音视频等）

缺点：

依赖模型训练效果

精度不稳定

受关键词和句子完整度影响

04

FastGPT中的RAG玩法

理解了上边的流程后，针对我们现在在搞的这个AI客服，结合FastGPT的步骤如下：

🔍步骤一：建立知识库

上篇文章分享中，我们通过手动的方式创建了知识库，并维护了知识，同时可以看到它进行分片处理，也进行索引。

🕵️ 步骤二：从知识库中召回数据

在我们需要的时候，需要创建个FastGPT的应用来召回知识，通常我们会在AI流程中创建知识库节点来引用数据：

我们点几下搜索参数的设置，可以看到知识召回的方案：

🧠 步骤三：专家级总结应答

有了知识后，我们可以创建AI对话节点，引用我们的知识库，交个AI大模型推理：

当理解了RAG后，我们再看这个AI工作流就有了不一样的感觉。

05

总结

本文分享了RAG的基础知识，用了RAG后，我们的AI服务将会：

记不住的话，记住下RAG的三原力

▌① 知识熔炼炉（索引流程）

把散落的文档变成AI「营养剂」：PDF/报表/手册 ➔ 智能切片 ➔ 向量编码 ➔ 存入云端保险柜

▌② 光速检索网（检索流程）

提问瞬间启动「数字侦探」：用户问题 ➔ 向量化定位 ➔ 从万亿数据中捞出最相关证据链

▌③ 智慧合成器（生成流程）

像顶级顾问般组织答案：问题+证据包 ➔ 大模型推理 ➔ 附参考文献的可验证回答

几种大模型知识问答的对比和总结如下：

RAG正让AI完成从「通才」到「专才」的蜕变——无需重新造轮子（训练模型），只需给通用大脑插上「领域U盘」，就能在特定场景爆发惊人生产力。当你的竞争对手还在为数据孤岛发愁时，掌握RAG技术的企业早已建起「数字巴别塔」，让沉默的知识资产持续产生真金白银的价值。

在应用实践中，RAG模型虽然有着信息完整性、推理能力和跨领域适应性等显著优势，但也面临着数据质量、计算资源消耗和知识库更新等挑战。

最后再看下RAG的几个常见的应用场景，我们这次要做的场景是基于知识库的AI客服这个场景。

 大模型&AI产品经理如何学习

求大家的点赞和收藏，我花2万买的大模型学习资料免费共享给你们，来看看有哪些东西。

1.学习路线图

第一阶段： 从大模型系统设计入手，讲解大模型的主要方法；

第二阶段： 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用；

第三阶段： 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统；

第四阶段： 大模型知识库应用开发以LangChain框架为例，构建物流行业咨询智能问答系统；

第五阶段： 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；

第六阶段： 以SD多模态大模型为主，搭建了文生图小程序案例；

第七阶段： 以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。

2.视频教程

网上虽然也有很多的学习资源，但基本上都残缺不全的，这是我自己整理的大模型视频教程，上面路线图的每一个知识点，我都有配套的视频讲解。

（都打包成一块的了，不能一一展开，总共300多集）

因篇幅有限，仅展示部分资料，需要点击下方图片前往获取

3.技术文档和电子书 

这里主要整理了大模型相关PDF书籍、行业报告、文档，有几百本，都是目前行业最新的。

4.LLM面试题和面经合集

这里主要整理了行业目前最新的大模型面试题和各种大厂offer面经合集。

👉学会后的收获：👈
• 基于大模型全栈工程实现（前端、后端、产品经理、设计、数据分析等），通过这门课可获得不同能力；

• 能够利用大模型解决相关实际项目需求： 大数据时代，越来越多的企业和机构需要处理海量数据，利用大模型技术可以更好地处理这些数据，提高数据分析和决策的准确性。因此，掌握大模型应用开发技能，可以让程序员更好地应对实际项目需求；

• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；

• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。

1.AI大模型学习路线图
2.100套AI大模型商业化落地方案
3.100集大模型视频教程
4.200本大模型PDF书籍
5.LLM面试题合集
6.AI产品经理资源合集***

👉获取方式：
😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓