1. 对话自动评估
随着对话系统的不断发展和成熟,如何评价对话系统的回复质量,成为了一个新的研究方向。
对话自动评估技术,能够帮助企业或个人快速评估对话系统的回复质量,减少人工评估成本,具有重要的商业意义。
例如,在客服领域,对话自动评估技术可以应用于客服服务质量的评估,判断是否存在答非所问等情况,能够帮助电商管理者进一步了解客服人员的服务水平,从而辅助制定管理决策。
在人机对话领域,对话自动评估技术也可以用于评估机器人的回复质量,作为对话系统优劣的一个辅助判断标准,成为对话系统改进的参考指标。
2. 飞桨ADE模块介绍
2.1. 模型介绍
飞桨对话自动评估模块(ADE),主要用于评估开放领域对话系统的回复质量。
它的输入是文本对(上文,回复),输出是回复质量得分。
考虑到匹配任务(预测上下文是否匹配)与自动评估任务之间的天然联系,飞桨ADE模块利用了匹配任务作为自动评估任务的预训练,然后再利用少量标注数据进行模型微调。
因此,飞桨ADE模块可以在无标注数据或少量标注数据的情况下使用:
在无标注数据的情况下,利用负采样训练匹配模型作为评估工具,实现对多个对话系统回复质量排序。
利用少量标注数据(特定对话系统或场景的人工打分),在匹配模型基础上进行微调,可以显著提高该对话系统或场景的评估效果。
飞桨ADE模块内提供了两个模型:
匹配模型:context和response作为输入,使用lstm学习两个句子的表示,在计算两个线性张量的积作为logits,然后使用sigmoid_cross_entropy_with_logits作为loss, 最终用来评估相似程度。
finetuing模型:在匹配模型的基础上,将sigmoid_cross_entropy_with_logits loss优化成平方损失loss,进行训练。
3. 飞桨ADE上手指南
下面将送上代码,手把手地教您如何使用飞桨对话自动评估模块(ADE)。
3.1. 安装说明
环境依赖:
Python >= 2.7
cuda >= 9.0
cudnn >= 7.0
pandas >= 0.20.1
PaddlePaddle >= 1.6.0
克隆项目:
cd models/PaddleNLP/dialogue_model_toolkit/auto_dialogue_evaluation
3.2. 任务简介
本模块内模型训练主要包括两个阶段:
1)第一阶段:训练一个匹配模型作为评估工具,可用于待评估对话系统内的回复内容进行排序;(matching任务)
模型结构: 输入为context和response,对两个输入学习embedding表示, 学习到的表示经过lstm学习高阶表示, context和respo