对话生成：seq2seq模型原理及优化

更多干货内容请敬请关注「平安寿险PAI」，文末有资料获取方式

人机对话作为人机交互系统的核心功能之一，发挥着十分重要的作用。目前，生成式的人机对话存在内容把控性较弱，生成内容不一定符合场景需求的问题。所以，在实际运用中往往需要对模型做出更多的调整和控制，使生成的对话更适用于具体场景。

1月8日，由平安寿险AI团队在Paper Weekly直播间进行的主题为「对话生成模型」的技术分享，由资深算法工程师姚晓远主讲，其内容分4个部分：

• 寿险的人机对话业务介绍
• Seq2Seq 对话模型原理
• 基于主题规划和文本属性控制的 Seq2Seq 模型优化
• Seq2Seq 模型在寿险业务的实践介绍

分享老师： 姚晓远

平安寿险人工智能研发团队资深算法工程师。毕业于武汉大学，获得硕士学位，研究方向为自然语言处理。曾任职于百度，现为平安人寿智能平台团队资深算法工程师，具有 5 年人工智能研发经验。曾作为主要开发人员参与图片广告、事件图谱、智能客服等项目，目前担任人机交互算法研发负责人，主要进行对话生成、问答匹配算法研发。

以下是根据本期技术分享内容整理的文字稿。

一、寿险的人机对话业务介绍

1. 对话机器人的常见应用

目前，对话机器人是一个热门话题，大家熟知的应用和产品主要有三种：

• 第一种是虚拟助手，能对个人输入完成相应的任务或提供相应服务，典型的商业产品包括如siri、cortana、度秘等；
• 第二种是智能音箱，通过语音交互，完成用户任务，也能对智能家居设备进行控制。典型的商业产品包括如echo、天猫精灵、小爱同学等；
• 第三种是闲聊对话，在开放域与用户进行闲聊。典型的商业产品如：微软小冰。

2. 寿险业务场景的对话机器人

在保险业务场景下，最为人熟悉的对话机器人应用就是“客服机器人”。

平安寿险客服机器人主要基于自然语言处理、深度学习、OCR、风控等技术，可实现寒暄、业务咨询、业务办理（属业内首创）、产品及服务推荐等功能，为用户提供一站式“服务+推荐”的优秀体验。

3. 对话机器人的任务类型

对话机器人的任务类型可以分为三类：

• 第一类是任务型对话，主要解决如订机票、订酒店等问题。它涉及的技术包括：语义理解、意图识别、状态追踪、对话决策等；
• 第二类是知识型对话，在寿险客服的场景里，用户可能会问“你这个保险要交多少钱？”这类问题。它涉及的技术包括：文本表示、语义匹配、知识图谱等；
• 第三类是闲聊型对话，用户可能只想找人聊聊天，对话不涉及到知识或业务，比如说“今天天气真好”。它涉及的技术包括：文本生成模型、文本检索、排序技术等；
  

4. 让闲聊更有用

以解决闲聊型任务为例，大家较为熟悉的，是用seq2seq生成闲聊型机器人。但普通seq2seq可能出现如负面情感的回复、疑问句式的回复、回复的多样性较低等问题，导致用户体验差或者对话上下文不够连贯。

在没有任何约束的聊天情境下，这种回复可能问题不大。但在寿险业务场景中，客服机器人需要引导客户尽快结束闲聊，开启（或延续上一个）任务型对话。

在这种背景下，如果客服机器人回复一个疑问句式，给用户的感觉会比较奇怪。另外，如果在较严肃的对话场合中，客服机器人给出了一个负面情感倾向的回应，用户体验也会较差。

因此，负面情感回复、疑问句式回复、回复多样性低、一致性低，都是研发寿险客服机器人需要攻克的难点。

二、Seq2Seq 对话模型原理

1. 模型探析

生成一段对话回复的模型可以简单分为三类：

• 一是规则模板。典型的技术就是AIML语言。这种回复实际上需要人为设定规则模板，对用户输入进行回复。
  优点是：1、实现简单，无需大量标注数据；2、回复效果可控、稳定。
  不足是：1、如果需要回复大量问题，则需要人工设定大量模板，人力工作量大；2、使用规则模板生成的回复较为单一，多样性低。

• 二是生成模型。主要利用编码器-解码器结构对回复进行。典型技术是Seq2Seq、transformer。

• 优点是：无需规则，能自动从已有对话文本中学习如何生成文本。
  不足是：1、生成效果不可控，训练好的模型更像是一个“黑盒”，也无法干预模型的生成效果；2、倾向生成万能回复，如“好的”、“哈哈”等，所以多样性与相关性低。

• 三是检索模型。利用文本检索与排序技术从问答库中挑选合适的回复。
  优点是：由于数据来源于已经生成好的回复，或是从已抓取的数据得到的