AliMe Assist: An Intelligent Assistant for Creating an Innovative E-commerce Experience论文笔记

ABSTRACT

我们提出的阿里小蜜助手，是一个旨在电子商务领域创造一个创新的网上购物体验的智能助理。基于问答，阿里小蜜助手提供辅助服务、客户服务和聊天服务。它能够进行语音和文本输入，将上下文结合到QA，并支持多轮交互。目前，它每天提供数以百万计的客户问题，并且能够解决其中85%问题。在本文中，我们展示这个系统，提出了底层技术，并分享我们在电子商务领域处理现实世界QA的经验。

KEYWORDS

Qestion Answering, Convolutional Neural Network, Knowledge Graph, Semantic Normalization, Sequence-to-Sequence, Rerank

1 INTRODUCTION

在最近的几年中，基于QA的智能助手一直很受欢迎，部分原因是深度学习和大数据技术的进步，而另一部分原因是现实世界需求的不断增长。
多年来我们一直研究这个课题。我们的人工智能助手阿里小蜜提供三种服务，辅助服务、客户服务和聊天服务。它能够进行语音和文本输入，将上下文结合到QA，并支持多轮交互。目前，它每天提供数以百万计的客户问题，并且能够解决其中85%问题。在本文中，我们展示这个系统，提出了底层技术，并分享我们在电子商务领域处理现实世界QA的经验。
这项工作由以下及部分构成
设计和开发一个真实的工业智能助理，为客户提供电子商务中的辅助服务、客户服务和聊天服务。
提出了一种卷积神经网络模型能够包含客户问题的上下文意图识别。
提出一种基于语义规范化和知识图谱的面向知识服务的客户服务问答方法。
提出了一种基于注意力的Sequence-to-Sequence混合模型，以优化关于聊天的信息检索和生成模型的联合结果。
本文的其余部分结构如下：第2节介绍了系统的概述，第3节讨论了系统的特点和底层技术，第4部分给出了系统的演示，第5部分回顾了相关的工作，第6部分总结了论文和描述未来的工作方向。

2 SYSTEM OVERVIEW

图1中是阿里小蜜的结构图。第一层是输入层，支持语音和文本的输入，来源可以是手机，pad和PC。第二层是意图抽取层，决定每个问题的路线。（例如是辅助服务还是客户服务？）第三层说明了用于处理问题的组件。最后一层第四层代表检索答案的知识源（问题对和知识图谱）
在图2中我们展示了处理客户问题的流程。给定一个输入问题q，它首先经过一个业务规则解析器，一个基于trie的模式识别器。如果q匹配到了一定的模板，判决如下：如果请求面向任务的辅助服务，比如，我想定一张飞机票，它将会由一个slot filling引擎处理；如果它询问促销活动，例如，抢夺红包的入口是什么？一个预先配置好的答案将会返回；如果是在线服务人员，比如请找人工，阿里小蜜会告诉用户提供他的问题描述。如果q没有匹配到任何模板，它将会发送到意图分类器（intention classfier）作分类。如果需要人工参与，这将取决于意图场景上的标签，比如返回销售或者退款，这些问题将会指向不同的服务人员。
接下来，q将会被送入一个基于trie的语义解析器。如果识别出任何语义标签（知识图谱中的实体，例如顾客账户），q将被视为与业务相关的（面向知识的），并且所识别的标签将使用，通过知识图谱的引擎检索答案。如果没有检索到答案，阿里小蜜将用上下文（前一个问题）丰富Q，并将连接再次发送给语义分析器。
这里有两点需要注意。首先，问题q可能没有上下文，（比如一个部分的第一个问题），第二，可能是这样的情况，如果连接起来仍然找不到答案。在这两种情况下，阿里小蜜将会转移到下一步骤，（如果存在上下文，只使用一次），如果标识的标签只包含一个实体或动作，则向客户请求更多信息，否则将Q传递给检索引擎。在检索模型仍然无法给出答案的情况下，Q将根据标记意图场景传送给服务人员（由于空间限制，这里省略了我们的推荐引擎）。另一方面，如果Q与业务无关并且被识别为聊天，则将使用聊天引擎来提供响应。如果Q不是聊天，则输出预先配置的答案。

3 SYSTEM FEATURES

3.1 Intention Identification

在阿里小蜜中用户的意图被分为三类：辅助请求，比如，我想预订一个飞机票，询问信息或者解决方案，比如，如何找回我的密码，聊天，我不开心。根据支持的业务场景进一步分类每个类别，例如辅助服务提供，订票，手机充值等。
这两个组件，业务规则解析器和意图分类器一起工作，以识别每个客户问题的意图。我们的业务规则解析器是基于成百上千种模式而建立的，包含从频繁项集中挖掘出来的和基于tie的模式匹配器。我们的意图分类器基于卷积神经网络建立，如下图所示，
我们的卷积意图模型的输入是一个给定的问题Q的每个词的嵌入式表示，同时问题q连接着先前识别的语义标签和它的前一个问题，（比如它的上下文）。这个词向量是使用Fasttext预训练的，然后在CNN的模型里面会fine tuned。我们的实验数据包括40个意图场景和67797个实例（47455个用于训练和20342用于测试）。带语义标签，我们的CNN模型的准确率可以达到89.91%，比不带语义标签的高0.91。这两个模型都好于我们的baseline（一个SVM和最大熵集成的模型82.71%）。
我们选择一层卷积-池化 CNN而不是RNN，比如LSTM。因为：(1)CNN能够捕获文本中的上下文信息，之前和之后的，并且在我们的案例中获得比较好的效果。(2)在我们的工业环境中它是有效的，并能够支持QPS（查询每秒）约200左右。更多的卷积池层或RNN能够获得更好的结果，但具有较差的可扩展性。

3.2 Task-Oriented Assistance Service

3.2 Knowledge-Oriented Customer Service

在阿里小蜜中，客户信息查询/解决方案需要尽可能精确地解决。我们采用知识图来解决这些面向知识的问题。
我们的知识图的构造块是实体和关系。首先从自然语言知识项中提取候选名词和动词，通过分词、词性标注（POS）标注和TF IDF滤波，利用互信息构建高阶（多个、通常两个）实体。然后我们让业务分析员对实体进行审查，并设计关系以构建层次结构。最后，我们采用Neo4j作为查询引擎。我们的知识图谱包括几千个实体和一组固定的关系，并且支持短（一跳或者两跳）的推理。