飞桨模型保存_飞桨对话模型工具箱（二）：对话自动评估模块ADE

1. 对话自动评估

随着对话系统的不断发展和成熟，如何评价对话系统的回复质量，成为了一个新的研究方向。

对话自动评估技术，能够帮助企业或个人快速评估对话系统的回复质量，减少人工评估成本，具有重要的商业意义。

例如，在客服领域，对话自动评估技术可以应用于客服服务质量的评估，判断是否存在答非所问等情况，能够帮助电商管理者进一步了解客服人员的服务水平，从而辅助制定管理决策。

在人机对话领域，对话自动评估技术也可以用于评估机器人的回复质量，作为对话系统优劣的一个辅助判断标准，成为对话系统改进的参考指标。

2. 飞桨ADE模块介绍

2.1. 模型介绍

飞桨对话自动评估模块(ADE)，主要用于评估开放领域对话系统的回复质量。

它的输入是文本对(上文，回复)，输出是回复质量得分。

考虑到匹配任务(预测上下文是否匹配)与自动评估任务之间的天然联系，飞桨ADE模块利用了匹配任务作为自动评估任务的预训练，然后再利用少量标注数据进行模型微调。

因此，飞桨ADE模块可以在无标注数据或少量标注数据的情况下使用：

在无标注数据的情况下，利用负采样训练匹配模型作为评估工具，实现对多个对话系统回复质量排序。

利用少量标注数据(特定对话系统或场景的人工打分)，在匹配模型基础上进行微调，可以显著提高该对话系统或场景的评估效果。

飞桨ADE模块内提供了两个模型：

匹配模型：context和response作为输入，使用lstm学习两个句子的表示，在计算两个线性张量的积作为logits，然后使用sigmoid_cross_entropy_with_logits作为loss, 最终用来评估相似程度。

finetuing模型：在匹配模型的基础上，将sigmoid_cross_entropy_with_logits loss优化成平方损失loss，进行训练。

3. 飞桨ADE上手指南

下面将送上代码，手把手地教您如何使用飞桨对话自动评估模块(ADE)。

3.1. 安装说明

环境依赖：

Python >= 2.7

cuda >= 9.0

cudnn >= 7.0

pandas >= 0.20.1

PaddlePaddle >= 1.6.0

克隆项目：

cd models/PaddleNLP/dialogue_model_toolkit/auto_dialogue_evaluation

3.2. 任务简介

本模块内模型训练主要包括两个阶段：

1)第一阶段：训练一个匹配模型作为评估工具，可用于待评估对话系统内的回复内容进行排序；(matching任务)

模型结构: 输入为context和response,对两个输入学习embedding表示, 学习到的表示经过lstm学习高阶表示, context和respo