Attention-Based Recurrent Neural Network Models for Joint Intent Detection and Slot Filling
摘要
这篇文章主要介绍了使用Attention-Based RNN模型识别意图和槽填充(slot filling)。意图识别通常使用分类的方法将句子分为相应的意图种类。槽填充则可以看做是序列标注问题,即对于给定的句子中的每个词分别打上相应的标签。例如句子“first/class/fares/from/boston/to/denver.”,每个词对应的标签为”B-class_type/I-class_type/O/O/B-fromloc/B-toloc”。槽填充既可以用RNN模型也可以用encoder-dedoder 模型解决。即源输入是句子序列,目标输出则是标注序列,同时意图识别也可以用encoder-dedoder 模型解决。即源输入是句子序列,目标输出则是意图种类。但是对与槽填充来说,句子与相应的标签是一 一对应的,也就是说有“explicit alignment”。作者提出了两种模型,一种是将“alignment information”加入到encoder-dedoder 模型中,另一种就是将“alignment information”和”attention“加入到RNN模型中来解决槽填充和意图识别问题。
Encoder-Decoder Model with Aligned Inputs
图a没有使用对齐输入 hi ,但是用了注意力 ci 。图b没有使用注意力 ci ,但是用了对齐输入 hi 。图c既使用注意力 ci ,也用了对齐输入 hi 。
Attention-Based RNN Model
相对于普通的RNN,这个模型在预测输出标签的时候使用了隐层状态 hi 和注意力 ci 。