基于大模型技术客服场景应用实践

在金融领域的数字化转型过程中，智能客服等应用场景在实施中面临着一系列严峻的挑战。随着市场需求从头部扩展到长尾，多样化和个性化的需求成为新的趋势。这种需求变化不仅提升了系统开发的成本和技术难度，还对服务质量提出了更高的要求。特别是在涉及文本生成的场景中，小模型的局限性显而易见，难以满足用户的期望。

大模型凭借其庞大的参数规模和强大的语义理解能力，在自然语言处理和文本生成等方面展现出了卓越的性能。大模型能够深入理解语言中的复杂结构和语义关系，生成更加准确和自然的文本。将大型模型技术应用于智能客服、企业知识库等场景有着巨大潜力，可助力各业务场景快速实现数字化转型，完成智能升级。

典型的大模型技术架构方案**✦**

典型的大模型技术架构可分为组件层、模型层和资源层三大部分。其中组件层包含数据处理组件、安全组件、检索组件、RPA以及CV、NLP、ASR等众多小模型算法能力，可以支持与大模型服务组合调用。模型层支持多种大模型的加载训练与推理、数据加载和预处理、模型训练与优化、推理加速等能力。资源层包含数据资源、计算资源与存储资源等。

图1 大模型技术架构

三种大模型应用范式**✦**

大模型技术以其强大的计算能力和灵活性，正在成为各行业智能化发展的核心引擎。然而，如何高效地应用大模型，并充分挖掘其潜力是业界迫切要解决的问题。目前行内主要有三种大模型应用范式，分别是：调用大模型原生API，通过指令微调和上下文学习（ICL）等技术直接构建应用；通过大小模型融合及中间件的协同调用，赋能各类业务场景；通过训练和微调大模型，获取适用于特定任务的高性能模型。

图2 三种大模型应用范式

1. 大模型原生API

由于大模型本身具备上下文学习和指令识别等能力，用户可以构建指令或提供少量示例，直接调用基座大模型来完成任务。例如，用户可以应用此方式进行财务报表指标的抽取和分析、票据关键要素的提取、以及文本比对等任务。其最大的特点在于快速上手和易于集成，无需进行繁杂的模型训练。此外，这种方式非常适合数据量少，个性化需求多的场景，因为它们可以避开高昂的资源和人力成本，快速构建具有高智能水平的应用。然而，这种方式也有其局限性，即需要依赖基座模型能力，且当需求复杂时需要维护庞大的指令集，降低模型生成效率。

2. 大小模型、中间件协同融合

除了提供基座大模型的核心能力外，还可整合大小模型等多种技术能力，如检索增强技术（RAG）、光学字符识别（OCR）、自动语音识别（ASR）、传统自然语言处理（NLP）、以及机器人流程自动化（RPA）等。通过中间件协调，大模型和小模型能够相互配合，共同完成任务，既提升了系统的响应速度，又保证了处理任务的精度。这种方法适用于需要处理多种任务的大型复杂系统，如智能问答、推荐系统等。尽管这种方式的实现更加复杂，需要较高的技术能力和资源投入，但其带来的性能提升和灵活性是非常显著的。

3. 大模型定制训练与微调

在特定场景下，如智能客服工单小结场景，要求大模型具备与行业准则对齐的摘要总结能力。简单的指令学习和少样本学习难以满足此类需求。因此，需要通过构建高质量微调样本，对大模型进行定制化微调，以满足业务要求。虽然这种方法需要大量的计算资源和数据标注，但它可以提供更好的效果和更佳的用户体验。

应用实践**✦**

针对第三种大模型应用范式，本文基于智能客服工单小结场景，介绍大模型技术在我行实践落地情况。

在智能客服场景中，座席每天需要处理大量客户对话。这些对话涵盖各种问题和需求，要求座席能够快速准确地提取关键信息，理解客户真实意图，并整理出准确的对话摘要，以便对客户问题进行分类、转接和解决。然而，由于对话数量庞大，座席很容易错过或误解关键信息，同时客户意图也容易受到座席主观理解和经验的影响。如果直接通过构建指令调用大模型原生API，生成工单小结的可用率不足30%。基于以上背景，我们利用数万条经过专家二次标注的对话摘要数据在多个大模型上进行微调，目标是让大模型学习专家工单小结的标准话术风格。

图3 微调多种大模型效果评估

如图3所示，在同样的数据集和微调方式下，不同模型的表现各异。总结而言，微调后的大模型A在该场景中的表现尤为突出，其生成的工单小结整体可用率达到了80%，其中投诉工单可用率在87%，数字一致性达到100%，文本一致性达到96%，多次生成文本内容的过程中输出结果的稳定性为90%。实验证明第三种应用范式，即微调大模型在该场景下显示出较高的实用性，且高质量的微调数据可使模型生成幻觉的概率被有效控制。

结语**✦**

大模型技术在银行业的应用前景广阔，从知识库问答到智能客服，大模型技术的运用让知识获取更简单、客户服务更高效。通过定制训练和微调，大模型可以满足特定场景下的需求，提高业务效率和用户体验。在光大银行的实践中，大模型技术已经取得了初步成效，随着大模型技术的不断发展和优化，相信在未来会有更多应用场景受益。

[