本文《Simple, Fast, Accurate Intent Classification and Slot Labeling》一种联合的框架来同时解决意图识别和槽位标记的任务,文中提出的框架在模型的准确性、模型训练的速度和推理的速度三个方面取得了平衡。
概述
意图识别/意图分类(Intent Classification)和槽位填充 (Slot Filling) 是自然语言理解 (Natural Language Understanding, NLU)领域中的两个比较重要的任务。在聊天机器人、智能语音助手等方面有着广泛的应用。
本文提出了一种联合的框架来同时解决意图识别和槽位标记的任务,文中提出的框架在模型的准确性、模型训练的速度和推理的速度三个方面取得了平衡。
模型介绍
本文设计对比了几种不同的方式对输入的语句进行编码,比较各种方式的优劣,最终设计出一个同时兼顾准确率和速度两个方面的指标模型解决此任务。
本文的主要框架如下图所示,其基本思想为:句子的每一个单词经过不同的方式进行编码,形成词上下文编码(word contextualization),然后将词嵌入信息编码形成句子编码信息,最后通过分类确定每一个句子的意图,对每一个词进行分类得到槽位标记的结果。模型的输入为
,表示一个句子序列,相应的输出就是计算概率
,c表示意图,l表示槽位标记。
本文主要探讨了三种不同的模型来测试模型的准确率和速度:包括全循环(fully recurrent), 标签循环(label-re