Gavin老师Transformer直播课感悟 - DIET:基于Transformer的轻量级多任务NLU系统（一）

一、DIET概述

        DIET(Dual Intent and Entity Transformer)是一种基于Transformer的轻量级的运用于对话系统的语言理解模型，它是一种统一的基于Transformer的轻量级架构，可以同时完成意图识别和信息的提取。从传统意义来讲，使用Transformer涉及到大规模的预训练，有时需要进行微调(fine-tuning), 获得数据，数据标注以及训练模型的成本比较大，接下来针对这篇论文来解析DIET是如何做到轻量级，它背后的机制，以及在对话系统中的表现等。

        对话系统有两个最基本的维度需要考虑，一是对话过程中的意图识别(intent classification), 另一个是对话信息的提取(Named Entity Recognition, NER技术)。对于大规模的对话系统来说，采用模块化的方式(modular approach)非常重要，它体现了解耦合的思想。 为了与DIET作比较，也会分析一些经典的架构在同时处理意图识别和信息提取方面的做法。