Gavin老师Transformer直播课感悟 - DIET:基于Transformer的轻量级多任务NLU系统（二）

一、概述

        DIET(Dual Intent and Entity Transformer)是一种基于Transformer的轻量级的运用于对话系统的语言理解模型，主要由以下几个关键部分组成：

1. Featurization

        输入语句被处理为token序列(sequence)，这些token可以是完整词汇或者是词汇的一部分，这取决于进行featurization的pipeline。DIET在每个语句的最后添加了一个用于分类的特殊token”___CLS___”。每个输入token使用”sparse features”或者”dense features”或者这两者的组合来进行featurization，这就体现了一种“可插拔”的架构设计理念。Sparse features采用了token级别的”one-hot”编码（通过词库来实现）和字符级别的n-grams(n <= 5，根据工程实践来确定)的”multi-hot”编码，字符级别的n-grams包含了大量冗余的信息，为了避免过度拟合，所以对这些sparse features使用了dropout(残差网络处理)。Dense features可以是任何预训练的词嵌入。

如果使用ConveRT这种语句级别的encoder, 那么要注意的是___CLS___的顺序，即需要设置为语句embedding的第一个token。Sparse features通过一个具有共享权重的跨所有序列的全连接神经网络来传递以达到匹配dense features维度的目的。

2. Transformer

        为了对跨整个序列的上下文进行编码，使用了具有相对位置注意力机制的双层Transformer，这种Transformer架构要求它的输入和Transformer的层的维度是一样的。

3. Named Entity Recognition

        标记为Yentity的序列通过Transformer上层的CRF进行预测，这里的Transformer输出序列a对应tokens的一个输入序列，下面是Entity Loss的计算公式&#x