知了 | 基于NLP的智能问答推荐系统

作者简介

苗贝贝    百度高级研发工程师

负责百度智能运维客服平台ChatOps，在时序数据异常检测、文本模式识别、相似度网络等方向也有广泛的实践经验。

干货概览

通常，客服系统主要有两种应答模式：机器人自动应答和人工应答。当用户提出问题后，客服系统首先启动机器人自动应答模式，如果用户认为机器人推荐的结果不准确，会进一步请求进入人工问答模式，由专门的客服人员跟进答疑。

据相关机构统计，国内客服的市场规模超过千亿，然而，目前机器人应答模式使用率并不高，人工客服仍然是企业使用率最高的应答模式，其原因主要包括两点：一方面，机器人客服系统实现准确推荐比较困难：由于自然语言本身是模糊的、问题表述方式多样、问题与答案的词汇可能存在差异等原因，导致实现准确推荐比较困难。例如：域名转出、域名怎么转出、域名转出流程等问题其实都在咨询域名转出操作；又例如，百度云虚拟主机的英文缩写为BCH，两种表述都可能被用户在提问时使用。另一方面，为机器人客服系统准备知识库比较困难。首先，为问题准备答案有比较高的技术门槛，只有具备一定经验的客服人员才能胜任。其次，客服人员一般是根据最近用户的提问来扩充整理知识库的。在这个过程中，很难知道某一问题是否在知识库中已经存在，容易导致问题的重复整理。重复整理问题不但浪费人力，还可能导致相同目标的问题在知识库中的答案不一致，降低客服质量。

基于上述背景，本文研究了一种基于自然语言理解的客服QA推荐系统，该系统目前已应用在百度云客服团队，在提升百度云用户体验、减轻客服压力等方面取得了不错的成效。

现有技术及其缺点

现有客服系统通常将一个Q（问题）A（答案）对看作一个文档，将整个知识库看作一个文档库，然后利用搜索引擎的关键词匹配技术为用户推荐相似问题以及答案。 

该技术主要有以下缺点：

• 关键词匹配技术不擅长处理用户在问题表述上的差异，无法将用户问题与知识库中的QA对进行有效匹配，导致推荐结果不理想。

• 在整理知识库时，无法将目标相同的问题聚集起来统一整理，从而导致

• • 整理工作量大，耗时长；

  • 答案只针对单个问题，使得内容局限，质量较低；

  • 相似问题分别整理，答案很容易不一致，容易导致用户困惑。

问题分析

我们发现，问题中的词汇与答案的词汇之间常常存在比较大的差异，例如：