干货 | 上百个业务场景，语义匹配技术在携程智能客服中的应用

作者简介

 

Kun Wang，携程资深算法工程师，专注于智能客服机器人相关NLP算法研究。

一、背景介绍

随着AI技术在各个领域的广泛应用，人机交互技术愈发成熟。包括电商、银行、电信等在内的很多领域开始建设智能客服的交互能力，为客人提供智能化自助服务，同时为客服人员的工作提供智能辅助。携程集团依靠强大的客服团队为国内外旅行者的出行提供了优质的服务保障，持续提升智能客服的交互能力，提高客服人员的生产效率显得尤为重要。

在携程智能客服的AI能力建设中，我们以百万级的对话数据为驱动力，利用深度学习算法解决用户问题，满足客户个性化的需求，致力于提升“猜你所想，答你所问”的算法能力。

携程智能客服已经在携程上百个业务场景提供了面向客人服务的客户端，以及面向客服员工问答的辅助客服端。用户进入智能客服对话页面，机器人小游会和客人进行对话，根据用户输入的内容，基于AI算法能力和底层知识库，回答用户的问题。本文主要介绍语义匹配技术在智能客服的语义理解和问答方面的实际应用。

二、问题分析

客服机器人使用的问答数据是业务运营的领域知识库，其中常见的标准问题及答案是知识库的数据基础。客服机器人通过对比分析用户话术和标准问题的相关性，通过排序后选择最可能的答案。这本质上是NLP（自然语言处理）领域的语义匹配问题，QA匹配模型作为一种基础模型，对匹配准确性要求较高。

现阶段的语义匹配技术经历了从词汇匹配到词义匹配，再到句义匹配的发展阶段。传统的BM25算法统计词粒度特征并计算相关性排序，需要维护大量的词库才能提供可靠的统计计算结果。词袋模型（Bag-of-Word）算法通过将句子映射到高维空间表示整体的语义，但缺点是词表维度高，存在很大的稀疏性。PLSA和LDA为代表的概率模型将文本映射到低维的连续空间上，在潜在语义空间上计算语义相似性的同时，提供了主题建模能力，虽然解决了高维表示的稀疏性问题，但匹配效果未必能超过经典的词汇匹配算法。

随着神经网络的发展，端到端的深度学习算法逐渐被应用到各个领域。基于神经网络训练的词向量模型，如Word2vec、Glove等被用来解决语义匹配问题，低维稠密的词向量可以更好的表示词汇的词义信息和一定的上下文相关性信息。

为了进一步解决短语、句子级别的语义匹配问题，以DSSM为典型代表的神经网络匹配模型被提出。按照句子建模的方式不同，一种是句子之间独立建模，无交互的匹配模型，如基于全连接层的DSSM、基于LSTM建模的Siamese网络等。这种网络架构的优势是，可以实现句子级别的文本语义表示，后置的文本相似度匹配运算比较灵活，大多数是余弦相似度运算，但缺点是文本相似度计算中缺乏交互性，没有充分建模和学习文本对之间的关系。

另外一种是有交互的匹配模型，如基于矩阵匹配的层次化匹配模型MatchPyramid[1]、基于交互注意力机制的ESIM模型[2]等，在这些模型的架构中，可以从文本对之间的词汇级别、句子级别等不同层面建模和学习相关性信息，但这种模型主要建模句对关系，并行处理能力差。虽然神经网络架构的变种很多，但大多数以全连接、CNN、LSTM等网络为编码器。

自2018年开始，注意力机制被广泛应用到自然语言处理的多项任务中，注意力机制可以充分的学习文本的上下文语义信息，并对这些信息的相关程度进行加权，从而区分文本中每个字词在语义理解过程中的重要程度。如图1所示，Self Attention机制通过对自身实现注意力加权学习句子中各个词汇的语义相关性。以Self Attention为基础的Transformer架构[3]实现了以Attention运算代替传统神经网络的变革。而随着Transformer架构的提出，以其为单元模块的预训练模型在众多NLP任务上均取得了SOAT的效果。预训练语言模型通过在大规模的无标注文本数据