意图识别与槽填充

Attention-Based Recurrent Neural Network Models for Joint Intent Detection and Slot Filling

摘要

这篇文章主要介绍了使用Attention-Based RNN模型识别意图和槽填充（slot filling）。意图识别通常使用分类的方法将句子分为相应的意图种类。槽填充则可以看做是序列标注问题，即对于给定的句子中的每个词分别打上相应的标签。例如句子“first/class/fares/from/boston/to/denver.”,每个词对应的标签为”B-class_type/I-class_type/O/O/B-fromloc/B-toloc”。槽填充既可以用RNN模型也可以用encoder-dedoder 模型解决。即源输入是句子序列，目标输出则是标注序列，同时意图识别也可以用encoder-dedoder 模型解决。即源输入是句子序列，目标输出则是意图种类。但是对与槽填充来说，句子与相应的标签是一 一对应的，也就是说有“explicit alignment”。作者提出了两种模型，一种是将“alignment information”加入到encoder-dedoder 模型中，另一种就是将“alignment information”和”attention“加入到RNN模型中来解决槽填充和意图识别问题。

Encoder-Decoder Model with Aligned Inputs

图a没有使用对齐输入$h_i$，但是用了注意力$c_i$。图b没有使用注意力$c_i$,但是用了对齐输入$h_i$。图c既使用注意力$c_i$,也用了对齐输入$h_i$。

Attention-Based RNN Model

相对于普通的RNN，这个模型在预测输出标签的时候使用了隐层状态$h_i$和注意力$c_i$。