《Joint Slot Filling and Intent Detection via Capsule Neural Networks》

出处：ACL 2019
code: https://github.com/czhang99/Capsule-NLU

一、摘要

之前对于槽位填充和意图检测的工作都是将两者分开进行的，即使有同时进行的，也没有明显考虑word、slot和intent的层级关系。因此作者基于胶囊网络，提出一种带有re-routing机制和routing-by-agreement机制的胶囊网络来联合进行槽位填充和意图检测工作。

二、方法

模型架构如下图所示，整体类似于2017 hinton提出的胶囊网络，图中Dynamic Routing即routing-by-agreement机制。不同点是加入了re-routing机制，这种机制的动机是，如果intent确定了，那么希望intent能够指导slot填充。

Dynamic Routing算法如下：

引入re-routing机制后对b_kt的更新公式变为：

其中p_k|t是slot胶囊k对word胶囊t的预测向量，v_k是slot胶囊k的输出向量，W_RR是可学习参数，u是概率值最大的intent胶囊的输出向量。

三、实验结果

"w/o Intent Detection"是去掉intent检测，"w/o Joint Training"是分两阶段分别训练slot和intent。