Gavin老师Transformer直播课感悟 - DIET:基于Transformer的轻量级多任务NLU系统（三）

一、概述

        通过基于各种数据集以及模型组件的搭配来测试DIET架构各个组件的有效性，验证各种情况下DIET模型的表现。

二、实验数据准备

        在实验中使用了三种数据集：NLU-Benchmark数据集，ATIS数据集，SNIPS数据集。实验主要聚焦于NLU数据集，数据集主要使用了scenarios，actions, entities三类注解。

e.g. schedule a call with Lisa on Monday morning

        这句话里scenario是”calendar”, action是”set_event”, entities包括[event_name: a call with Lisa]和[date: Monday morning]，那么intent label可以通过组合如”calendar_set_event”来定义。关于intent的设置是需要重点考虑的，这涉及到语言理解的粒度，重合度等方面，如果设置的耦合度较高，可能会导致模型在语言理解时出现confuse的情况。

        在实验时把NLU数据集划分为10个folds，每个fold有各自的测试对话集(utterances)。总体来说，数据集使用了64个意图和54个实体类型。

        ATIS数据集由机票预订语音记录转换的文本构成。这个训练数据集总共有21个意图和79个实体类型。

        SNIPS是通过Snips个人语音助手收集的数据，规模比NLU小了很多。这个数据集包含了7个意图和39个实体。

<