「我在淘天做技术」智能对话新纪元：百万日活对话机器人的 LLM 落地实践

作者：智能小蜜团队

一、前言

阿里小蜜家族（阿里小蜜、店小蜜、万象），从 2015 年发展至今，已经成为了覆盖淘天 P-C（平台-消费者）、B-C（商家-消费者）、P-B（平台-商家）全咨询体系的智能对话机器人，日均接待量级在百万（阿里小蜜）到千万（店小蜜）范围。

作为淘天集团乃至行业内最大体量的对话机器人应用之一，阿里小蜜在对话算法能力上持续探索，在 2022 年 chatgpt 爆炸性的诞生之后，我们也加快了拥抱 LLM 技术的步伐。技术飞速发展，小蜜算法团队全力投入 LLM 在客服域的落地应用中，以端到端直出的方式，覆盖了售后小蜜场景的问题定位、SOP 方案播放和沟通追问等环节，以及售前小蜜（自营店/店小蜜商家）的商品问答能力。

二、当前落地方案-基于大模型的进化

2.1 从 Pipeline 到大模型直出，将 NLU/DM/NLG 通过大模型端到端替换

对于大模型在对话机器人中的业务 &技术价值，我们也有过反复的思考和讨论，但我们对 LLM 在小蜜中应用的终极目标一直保持不变，也就是用 LLM 端到端的实现对话生成，这是基于以下的判断：

1. 从技术角度，原有多模型 pipeline 式的对话链路随着多年的迭代和打补丁已经过于复杂，而大模型可以大幅简化链路，并且一定程度缓解误差传播。

2. 从业务角度，技术升级最重要的还是需要 LLM 在对话能力上带来体感上的明显变化，才有可能进一步影响业务指标。

3. 对于备受关注的风险问题，大模型出现的生成幻觉问题会不会影响业务效果？这个问题要分情况看，一方面我们从技术角度减少幻觉的产生，一种是从业务角度减少幻觉产生的影响，这需要结合场景的进行设计。

2.2 阿里小蜜：分阶段、分场景的业务覆盖

我们从业务视角将一通消费者的客服咨询对话拆分为三个阶段：问题沟通、SOP 操作和方案沟通。

在业务分割的基础上，我们分阶段的实现了不同的大模型对话能力（如下图）。同时针对营销活动/购买指南等以 FAQ/文档为主的业务场景，我们没有采用多阶段方案，而是直接使用了端到端检索增强的算法来实现对话。

✪ 2.2.1 多轮问题定位

业务背景

作为客服机器人，阿里小蜜需要承接用户表达的问题并进行理解，进而定位到对应的知识或解决方案流程。过去小蜜问题沟通的模式始终没有跳脱出一问一答的形式，长远来源，这样会导致两大类问题：

1. 对用户表达精确度提出了较高的要求，因为更自然的表达方式往往不一定能定位到准确的解决方案。

2. 为了适配小蜜的单轮问题沟通效果，整体的知识体系中的知识也朝着越来越全、越来越大的模式演进，以保证用户的问题或诉求理解不会偏移。

业务挑战 &难点

诚然单轮交互存在着各种问题，但多轮化的改造、尤其是基于大模型的多轮化改造也需要解决以下几个难点：

1. 多轮状态下知识定位的准确性，多轮交互下如何保证能精准理解用户多阶段表达的内容并精确定位到知识

2. 大模型生成内容风险控制，在立项之初，淘天集团内尚未有直接将大模型生成内容用于 C 端输出的应用可供参考，因此如何在提升对话多样性的情况下控制生成风险是需要解决的问题。

方案设计

• 线上链路设计

我们在风控上做了较多的把控，对准入和准出都进行了严格的限制，在接入风控模型的基础上，我们还载入了违禁词库对输入文本进行准入控制。

另外，通过判断模型输出不同的标记来区分多轮对话阶段，如“[定位问题]xxxxx”，表示模型判断可以进行知识库检索，我们将模型生成结果进行检索，并定位到对应解决方案，结束问题沟通。而拒识或澄清，我们将会输出话术并与用户进行进一步确认。COT 主要发挥的核心作用是，让模型学习到作为一名淘宝售后客服，回答用户问题的主要思路和模版。