基于大模型技术客服场景应用实践

在金融领域的数字化转型过程中，智能客服等应用场景在实施中面临着一系列严峻的挑战。随着市场需求从头部扩展到长尾，多样化和个性化的需求成为新的趋势。这种需求变化不仅提升了系统开发的成本和技术难度，还对服务质量提出了更高的要求。特别是在涉及文本生成的场景中，小模型的局限性显而易见，难以满足用户的期望。

大模型凭借其庞大的参数规模和强大的语义理解能力，在自然语言处理和文本生成等方面展现出了卓越的性能。大模型能够深入理解语言中的复杂结构和语义关系，生成更加准确和自然的文本。将大型模型技术应用于智能客服、企业知识库等场景有着巨大潜力，可助力各业务场景快速实现数字化转型，完成智能升级。

典型的大模型技术架构方案 ✦

典型的大模型技术架构可分为组件层、模型层和资源层三大部分。其中组件层包含数据处理组件、安全组件、检索组件、RPA以及CV、NLP、ASR等众多小模型算法能力，可以支持与大模型服务组合调用。模型层支持多种大模型的加载训练与推理、数据加载和预处理、模型训练与优化、推理加速等能力。资源层包含数据资源、计算资源与存储资源等。

图1 大模型技术架构

三种大模型应用范式 ✦

大模型技术以其强大的计算能力和灵活性，正在成为各行业智能化发展的核心引擎。然而，如何高效地应用大模型，并充分挖掘其潜力是业界迫切要解决的问题。目前行内主要有三种大模型应用范式，分别是：调用大模型原生API，通过指令微调和上下文学习（ICL）等技术直接构建应用；通过大小模型融合及中间件的协同调用，赋能各类业务场景；通过训练和微调大模型，获取适用于特定任务的高性能模型。

图2 三种大模型应用范式

1. 大模型原生API

由于大模型本身具备上下文学习和指令识别等能力，用户可以构建指令或提供少量示例，直接调用基座大模型来完成任务。例如，用户可以应用此方式进行财务报表指标的抽取和分析、票据关键要素的提取、以及文本比对等任务。其最大的特点在于快速上手和易于集成，无需进行繁杂的模型训练。此外，这种方式非常适合数据量少，个性化需求多的场景，因为它们可以避开高昂的资源和人力成本，快速构建具有高智能水平的应用。然而，这种方式也有其局限性，即需要依赖基座模型能力，且当需求复杂时需要维护庞大的指令集，降低模型生成效率。

2. 大小模型、中间件协同融合

除了提供基座大模型的核心能力外，还可整合大小模型等多种技术能力，如检索增强技术（RAG）、光学字符识别（OCR）、自动语音识别（ASR）、传统自然语言处理（NLP）、以及机器人流程自动化（RPA）等。通过中间件协调，大模型和小模型能够相互配合，共同完成任务，既提升了系统的响应速度，又保证了处理任务的精度。这种方法适用于需要处理多种任务的大型复杂系统，如智能问答、推荐系统等。尽管这种方式的实现更加复杂，需要较高的技术能力和资源投入，但其带来的性能提升和灵活性是非常显著的。

3. 大模型定制训练与微调

在特定场景下，如智能客服工单小结场景，要求大模型具备与行业准则对齐的摘要总结能力。简单的指令学习和少样本学习难以满足此类需求。因此，需要通过构建高质量微调样本，对大模型进行定制化微调，以满足业务要求。虽然这种方法需要大量的计算资源和数据标注，但它可以提供更好的效果和更佳的用户体验。

应用实践 ✦

针对第三种大模型应用范式，本文基于智能客服工单小结场景，介绍大模型技术在我行实践落地情况。

在智能客服场景中，座席每天需要处理大量客户对话。这些对话涵盖各种问题和需求，要求座席能够快速准确地提取关键信息，理解客户真实意图，并整理出准确的对话摘要，以便对客户问题进行分类、转接和解决。然而，由于对话数量庞大，座席很容易错过或误解关键信息，同时客户意图也容易受到座席主观理解和经验的影响。如果直接通过构建指令调用大模型原生API，生成工单小结的可用率不足30%。基于以上背景，我们利用数万条经过专家二次标注的对话摘要数据在多个大模型上进行微调，目标是让大模型学习专家工单小结的标准话术风格。

图3 微调多种大模型效果评估

如图3所示，在同样的数据集和微调方式下，不同模型的表现各异。总结而言，微调后的大模型A在该场景中的表现尤为突出，其生成的工单小结整体可用率达到了80%，其中投诉工单可用率在87%，数字一致性达到100%，文本一致性达到96%，多次生成文本内容的过程中输出结果的稳定性为90%。实验证明第三种应用范式，即微调大模型在该场景下显示出较高的实用性，且高质量的微调数据可使模型生成幻觉的概率被有效控制。

结语 ✦

大模型技术在银行业的应用前景广阔，从知识库问答到智能客服，大模型技术的运用让知识获取更简单、客户服务更高效。通过定制训练和微调，大模型可以满足特定场景下的需求，提高业务效率和用户体验。在光大银行的实践中，大模型技术已经取得了初步成效，随着大模型技术的不断发展和优化，相信在未来会有更多应用场景受益。

读者福利：如果大家对大模型感兴趣，这套大模型学习资料一定对你有用

对于0基础小白入门：

如果你是零基础小白，想快速入门大模型是可以考虑的。

一方面是学习时间相对较短，学习内容更全面更集中。
二方面是可以根据这些资料规划好学习计划和方向。

包括：大模型学习线路汇总、学习阶段，大模型实战案例，大模型学习视频，人工智能、机器学习、大模型书籍PDF。带你从零基础系统性的学好大模型！

😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓

👉AI大模型学习路线汇总👈

大模型学习路线图，整体分为7个大的阶段：（全套教程文末领取哈）

第一阶段： 从大模型系统设计入手，讲解大模型的主要方法；

第二阶段： 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用；

第三阶段： 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统；

第四阶段： 大模型知识库应用开发以LangChain框架为例，构建物流行业咨询智能问答系统；

第五阶段： 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；

第六阶段： 以SD多模态大模型为主，搭建了文生图小程序案例；

第七阶段： 以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。

👉大模型实战案例👈

光学理论是没用的，要学会跟着一起做，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

👉大模型视频和PDF合集👈

观看零基础学习书籍和视频，看书籍和视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。

👉学会后的收获：👈

• 基于大模型全栈工程实现（前端、后端、产品经理、设计、数据分析等），通过这门课可获得不同能力；

• 能够利用大模型解决相关实际项目需求： 大数据时代，越来越多的企业和机构需要处理海量数据，利用大模型技术可以更好地处理这些数据，提高数据分析和决策的准确性。因此，掌握大模型应用开发技能，可以让程序员更好地应对实际项目需求；

• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；

• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。

👉获取方式：

😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓