DIET简介

DIET架构

DIET是一种多任务转换器架构, 可以同时处理意图分类和实体识别,它提供了即插即用各种预训练嵌入的能力,如BERT, GloVe, ConveRT等; DIET新架构改进了当前的技术水平,优于微调BERT, 并且训练速度快六倍. DIET使用考虑词序的序列模型,从而提供更好的性能. 它也是一个更紧凑的模型, 具有即插即用的模块化架构. 例如, 可以使用DIET进行意图分类和实体提取;还可以执行单个任务, 例如, 将其配置为关闭意图分类并训练它仅用于实体提取.
![在这里插入图片描述](https://img-blog.csdnimg.cn/2d6c7c07edb044cb87902ab056cfdc7b.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBAd2luZC5saWFv,size_20,color_FFFFFF,t_70,g_se,x_16

Rasa对DIET的介绍

https://rasa.com/blog/introducing-dual-intent-and-entity-transformer-diet-state-of-the-art-performance-on-a-lightweight-architecture/

DIET论文

https://arxiv.org/pdf/2004.09936.pdf