提升大模型系统体验的一些思路

在大模型为主题的这个技术版本，通过一些信息的输入或者是prompt的调整，让模型基本就可以朝着我们预期的结果方向输出了，然而凡事终有上限，大模型显然不能解决所有问题，因此现版本在了解大模型上限的情况下，一个以大模型为中心或者是结合了大模型的系统可能是一个更加合适的选择，我们可以以大模型为起点逐步拆解大模型功能或者是增加更多地辅助模块来配合大模型生成，也可以在原有系统中，加入大模型，使之能在系统中产生新的化学反应，或产生新的功能，或带来新的优化。

考虑到目前很多大模型项目其实都是围绕大模型逐步发展迭代而来，本期我给大家讲一些能让大模型系统效果和体验提升的一些思路方案。

场景划分

在大模型做得多了以后，或多或少都会面临以下几个问题：

• 有些问题不希望模型回复，或者希望模型用特定的方式回复。
• 不同的问题，希望模型使用不同的策略来回复。
• 某些问题，模型回复的不好，我手里有正确答案，希望他能用我这个内容来回复。
• 需要针对某一种领域进行专项的、有针对性的回复，但在此之前需要把这类型的问题先划分出来。

这里其实都会面临一个很重要的问题，那就是——边界。重述一下问题，在特定情况下，我们如果希望模型按照特定某种特殊的方案策略进行回复，此时我们需要一个模块（注意这里我用的是模块，稍后说），来鉴别在用户说什么内容的情况下触发这类回复策略。在上一个版本，即没有“大模型”有关技术的大环境下，通常是搜索或者是对话系统场景，我们会把这种划分的任务叫做意图识别，而抽象成NLP任务那就是文本分类。

此时，这里引出了第一个大模型系统中，可能需要的利用到的模块，即意图识别模块。

来举个例子。客服场景，用户有一类型高频问题就是售后维修的问题，因为客诉比较严重，所以需要针对这个领域的问题进行针对性的优化，甚至是一些定制型的优化，例如需要增加安抚话术等，因此我们需要增加一个意图识别模块，首先保证这类预期得到优化的query能被识别出来。

识别的方式其实挺多的，需要结合query的主要特点、训练数据、性能要求等原因来进行选择了，这也是为什么我这里严谨的说是模块，因为真不只是模型能够解决所有问题，常见的有这些：

• 基于规则、关键词、正则表达式的快速划分。
• fasttext、textcnn、bertforclassification等经典而又常用的分类方法。
• 基于检索的以搜代分方法。
• 大模型通过prompt构造分类器。

拥有划分方法后，我们可以结合划分场景的特点，定制不同的回复策略。

回复策略的制定

对话系统，只要做的足够精细，针对不同场景，就会需要考虑不同的回复策略，这也是为什么上面要聊意图识别的理由，而在划分场景后，就可以开始定制每一种意图的回复策略。我来举一些列子给大家解释一下不同的回复策略，协助大家打开思路吧。

拒绝回复

拒绝回复其实很多场景会应用到，例如在面对用户提问的内容并不是目前我们预期支持的领域（客服场景问天气），或者用户所问出现观点类（如何看待俄乌问题）、黄反类问题（这个就不用我举例了吧）、大模型安全（query中带有诱导性错误）时，再就是知识库为空的情况，我们就需要进行拒绝，并给用户一些回复，让用户不至于那么不舒服。常见的策略一般有这些：

• 一句写死的回复：“哎呀，这方面的问题我还不太懂，需要学习下”。
• 用大模型生成，例如借助prompt引导生成一些安抚性的回复，“对不起，你问的[]问题，我好像还不太懂。你可以试试问问别的”。
• 使用推荐问或者追问的策略。（你是否在找以下几个问题XX；你描述的我好像不太懂，能再补充补充吗）

其实也可以看到，也不见得非得用大模型，有时候写死或者做一些推荐问疑似问，好像也可以。

拆解用户提问后的回复

用户的提问往往蕴含众多信息，我们可以仔细解析用户提问的内容，然后配以适当的策略，来生成合适的回复，举几个例子：

• 客服场景，可能有用户的投诉抱怨，我们可以先识别出用户的情绪（情绪识别），然后借助角色假设、语气等指令，给出一个带有安抚性质的回复。
• 某些特定问题，可能有十分重要的关键词，我们必须重复强调，因此我们可以提前提取关键词，然后告诉大模型，必须提及这些词汇。
• 为应对不同端的用户需求，可能需要对详细程度进行约束，例如手机端就尽量简单，电脑端可以更丰富。
• 手机端场景，一个类似“播放音乐”的指令，此时除了要给出生成的文字回复（甚至也可以写死），更重要的是生成一个json的接口以便调起手机端软件并播放对应的音乐。

这里可以看到，一方面，我们需要识别出用户提问中带有的各种信息，另一方面我们可以通过prompt等方式，来控制大模型的生成回复，从而形成了很强的多样性。

多轮

多轮应该是很多对话场景面临的关键难题了，而多轮的根本难题在于，如何把关键信息保留并在合适的时间取出并使用。目前的大家可能用的比较多的是直接拼接历史对话，这点并非不好，凭借大模型的能力确实能做到很高程度的多轮对话，但实际上，我们还是可以用很多思路：

• 简单的，可能并不需要考虑模型回复的内容，只需要拼接用户query。
• 单独构造DM模块，结合NER做槽位继承。
• 参考科研界的一些做法，做更加抽象的矩阵DM，然后配合大模型计算。

可见，从大模型中把DM释放出来，可以定制出适合这个场景的对话管理来，可控性可定制性也会更强。

知识依赖

要让大模型解决特定领域的问题，总有一个非常重要的痛点，那就是知识的问题，尽管大模型在通用知识里面已经表现出惊人的能力，但在特定领域上，或者对新的知识，非常容易出问题，目前而言常见的解决方案是两种：

• 微调，通过领域知识点或者领域文档数据，对大模型进行微调。
• 外挂知识库，通过检索，获取topN知识点，加入到prompt中，协助模型进行回复生成。

对后者，其实我们已经在无疑是地在对模型的功能进行拆解了，原本预期是大模型是有知识的维护和处理能力的，但实际上我们把知识的维护和处理已经拆解出来了。

进一步，既然拆了出来，那其实就有广阔的调整空间了。因为拆出来的任务，就是一个知识库查询，而有关知识库查询的这块的技术，一方面是对话系统的检索式对话，另一方面是经典的搜索，其实都已经在这块积累了大量的经验，内部可以有提槽、意图、多路召回、精排之类的复杂策略。

小结

这篇文章可以说是告诉大家可以做很多事之后，告诉了大家怎么做，有哪些可以尝试优化的方法，从而把比较统一的大模型升级为功能更完善也更健壮可控的大模型系统。

另外大家应该也可以看到，整个过程其实都在试图压缩大模型的空间，从大模型中拆出来让其他模块专门做各自最擅长的事，我个人的理解这是一个做应用的重要方向，与其对着大模型经常做训练来应对不同的复杂场景，不如逐步把大模型沉淀成统一、稳定的能力，让他在更多地方用起来。正好也预告下一篇，我会给大家介绍一下我理解的大模型在整个成熟系统中的位置和整体架构情况。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

第一阶段（10天）：初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。

• 大模型 AI 能干什么？
• 大模型是怎样获得「智能」的？
• 用好 AI 的核心心法
• 大模型应用业务架构
• 大模型应用技术架构
• 代码示例：向 GPT-3.5 灌入新知识
• 提示工程的意义和核心思想
• Prompt 典型构成
• 指令调优方法论
• 思维链和思维树
• Prompt 攻击和防范
• …

第二阶段（30天）：高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习，学会构造私有知识库，扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架，抓住最新的技术进展，适合 Python 和 JavaScript 程序员。

• 为什么要做 RAG
• 搭建一个简单的 ChatPDF
• 检索的基础概念
• 什么是向量表示（Embeddings）
• 向量数据库与向量检索
• 基于向量检索的 RAG
• 搭建 RAG 系统的扩展知识
• 混合检索与 RAG-Fusion 简介
• 向量模型本地部署
• …

第三阶段（30天）：模型训练

恭喜你，如果学到这里，你基本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。

到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？

• 为什么要做 RAG
• 什么是模型
• 什么是模型训练
• 求解器 & 损失函数简介
• 小实验2：手写一个简单的神经网络并训练它
• 什么是训练/预训练/微调/轻量化微调
• Transformer结构简介
• 轻量化微调
• 实验数据集的构建
• …

第四阶段（20天）：商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。

• 硬件选型
• 带你了解全球大模型
• 使用国产大模型服务
• 搭建 OpenAI 代理
• 热身：基于阿里云 PAI 部署 Stable Diffusion
• 在本地计算机运行大模型
• 大模型的私有化部署
• 基于 vLLM 部署大模型
• 案例：如何优雅地在阿里云私有部署开源大模型
• 部署一套开源 LLM 项目
• 内容安全
• 互联网信息服务算法备案
• …

学习是一个过程，只要学习就会有挑战。天道酬勤，你越努力，就会成为越优秀的自己。

如果你能在15天内完成所有的任务，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名大模型 AI 的正确特征了。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】