Gavin老师Transformer直播课感悟 - Transformer的Task-oriented对话系统抗干扰能力实验

一、概述

        本文描述了如何对Transformer的多轮对话系统进行抗干扰能力的实验，实验的目的是在多轮对话环境中对Transformer和LSTM的抗干扰能力进行比较，进一步来说，就是测试TED（Transformer Embedding Dialogue）这种策略基于对话历史信息如何挑选出相关的信息用于做出后续行为或者响应的预测。为此需要建立一个对话数据集，在这个数据集中，多轮对话场景中的系统行为是依赖于对话历史信息，这就要求排除只包含问答信息的数据集，如WikiQA。

        另一方面，系统行为需要被打上标签，以便能评价对话中下一个行为的准确度，所以在实验时需要排除没有打标签的对话语料库，譬如Ubuntu Dialogue Corpus或者Metal-WOZ。实验以REDP(Recurrent Embedding Dialogue Policy)作为测量基准，REDP的核心机制是通过复制(copy)历史对话信息，从而在一个多轮对话环境中，当接收了非预期的用户输入信息后，系统能够根据复制回到原有的对话上下文中。

二、实验过程与结果分析

1. 包含子对话的实验

        实验中使用的数据集包