对话系统-口语理解-意图检测和槽填充：A Co-interactive Transformer for joint Slot Filling and Intent Detection

论文题目：A Co-interactive Transformer for joint Slot Filling and Intent Detection

原论文地址

PyTorch代码

论文精简版-PPT

1.背景

意图检测和槽填充是构建口语理解（SLU）系统的两个主要任务。

以前的研究要么用$多任务框架隐式地对两个任务进行建模$，要么$只考虑从意图到槽的单个信息流$。

先前的方法都没有在统一框架中同时对两个任务之间的双向连接进行建模。

针对以上问题，作者提出了 Co-Interactive Transformer，考虑了两个任务之间的交叉影响。 作者没有采用vanilla Transformer中的self-attention机制，而是提出了一个协同交互模块，通过在两个相关任务之间建立双向连接来考虑交叉影响，其中slot和intent可以参与到相应的任务中。

---

2.方法论

现有的联合模型可以分为两大类：

1.$采用具有共享编码器的多任务框架解决槽填充和意图识别$

虽然这些模型通过相互增强优于管道模型，但它们只是通过共享参数隐式地建模槽填充和意图识别两任务的关系

2.$明确应用意图信息指导槽填充任务$

缺点是只考虑了从意图到槽的单一信息流，并没有考虑槽到意图的信息流。

与普通的 Transformer 不同，本文框架中的核心组件是一个协同交互模块，用于对两个任务之间的关系进行建模，旨在考虑两个任务的交叉影响并提高两个任务。具体来说，在每个协同交互模块中，首先在意图和槽标签上应用$标签注意力机制$来捕获初始显式意图和槽表示，从而提取意图和槽语义信息。其次，意图和槽表示被输入到一个协同交互的注意力层中以进行交互。显式意图表示被视为查询，槽表示被视为获得槽感知意图表示的键和值。同时，显式槽表示被用作查询，意图表示被视为键和值以获得意图感知槽表示。以上这些操作可以建立跨intent和slots的双向连接。潜在的直觉是插槽和意图可以通过协同交互注意力机制关注相应的互信息。

2.1. Shared Encoder共享编码器

共享$Encoder$：$BiLSTM$，旨在利用词序中时间特征的优势

输入序列： { x 1 , x 2 , . . . , x n } , n 是 t o k e n \{x_1, x_2, . . . , x_n\},n是 token {x1​,x2​,...,xn​},n是token的数量

$BiLSTM$ 前向和后向读取输入序列，以产生一系列上下文敏感的隐藏状态 H = { h 1 , h 2 , . . . , h n } H=\{h_1, h_2,...,h_n\} H={h1​,h2​,...,hn​} ，通过重复应用递归 $h_i=BiLSTM({\varphi }^{emb}(x_i),h_{i-1},h_{i+1})$，其中 ${\varphi }^{emb}(\cdot )$表示嵌入函数。

2.2. Co-Interactive Module协同交互模块

Co-Interactive 模块是框架的核心组件，旨在建立意图检测和槽填充之间的双向连接。
在 vanilla Transformer 的Encoder中，每个子层包括self-attention(自注意力) 和 a feed-forward network (前馈神经网络FFN)组成。 (这里只需关注Encoder部分，Decoder部分是有三个子层，橙色和蓝色的部分)

图片来源Attention Is All You Need

协同交互模块包含三部分，分别为：

1.意图和槽标签注意力层来获得明确的意图和槽表示。

2.利用协同交互注意力层而不是自注意力层来显式地对交互进行建模。

3.扩展了基本 FFN，以在隐式方法中进一步融合意图和槽信息。

2.2.1. Intent and Slot Label Attention Layer

用槽填充和意图检测解码层的参数作为槽嵌入矩阵和意图嵌入矩阵。

槽嵌入矩阵：${W\text{W}W}^S\in {\mathbb{R}}^{d\times |S^{label}|}$

意图嵌入矩阵：${W\text{W}W}^I\in {\mathbb{R}}^{d\times |I^{label}|}$
其中，$d$表示隐藏层维度，$|S^{label}|,|I^{label}|$分别表示槽标签和意图标签的数量，

在某种意义上可以看作是标签的分布。

意图和槽表示：

$H\text{H}H\in {\mathbb{R}}^{n\times d}$为$Q(query)$， W v ∈ R d × ∣ v l a b e l ∣ ( v ∈ { I   o r S } } ) \pmb{W}^v\in\mathbb{R}^{d\times|v^{label}|}(\pmb{v}\in\{I\ or S\}\}) WWWv∈Rd×∣vlabel∣(vvv∈{I orS}})为$K(key)$和$V(value)$

利用上述信息获得带有意图标签注意力的意图表示${H\text{H}H}_v$
$$A\text{A}A=softmax(H\text{H}H{W}^v\text{Wv}{W}^v)\text{\hspace{1em}(1)}$$

$$\begin{gathered} H_v\text{Hv}{H}_v=H\text{H}H+{A{W}^v\text{AWv}A{W}^v}^{\mathrm{T}} \\ =H\text{H}H+Attention(H\text{H}H,W^v\text{Wv}{W}^v,W^v\text{Wv}{W}^v)\text{\hspace{1em}(2)} \end{gathered}$$

$H_I\text{HI}{H}_I\in {\mathbb{R}}^{n\times d}$，$H_S\text{HS}{H}_S\in {\mathbb{R}}^{n\times d}$是$显式$意图表示和槽表示，分别捕获意图和槽语义信息。

2.2.2. Co-Interactive Attention Layer

$H_S\text{HS}{H}_S$ 和 $H_I\text{HI}{H}_I$ 进一步用于下一个协同交互注意层，以建模两个任务之间的交互。 这使得槽表示在关联意图的指导下更新，意图表示在关联槽的指导下更新，实现了与两个任务的双向连接。

• Intent-Aware Slot Representation

与 vanilla Transformer 相同，使用不同的线性投影将矩阵将 $H_S\text{HS}{H}_S$ 和 $H_I\text{HI}{H}_I$ 映射到查询$(Q_S,Q_I)\text{(QS,QI)}(Q_S,Q_I)$、键$(K_S,K_I)\text{(KS,KI)}(K_S,K_I)$和值$(V_S,V_I)\text{(VS,VI)}(V_S,V_I)$矩阵。 $为了获得包含相应意图信息的槽表示，将槽和其密切相关的意图对齐$。 将 $Q_S\text{QS}{Q}_S$ 视为查询，将 $K_I\text{KI}{K}_I$视为键，将 $V_I\text{VI}{V}_I$ 视为值。 输出是值的加权总和：
$$C_S\text{CS}{C}_S=softmax(\frac{Q_S\text{QS}{Q}_S{K}_I^{\mathrm{T}}\text{KIT}{K}_I^{\mathrm{T}}}{\sqrt{d_k}})V_I\text{VI}{V}_I\text{\hspace{1em}(3)}$$

$${H\text{H}H}_S^{\prime }=LN(H_S+C_S\text{CS}{C}_S\text{HS+CSCSCS}{H}_S+C_S\text{CS}{C}_S)\text{\hspace{1em}(4)}$$

其中，$LN$表示层归一化函数。

• Slot-Aware Intent Representation

同上，将 $Q_I\text{QI}{Q}_I$ 视为查询，将 $K_S\text{KS}{K}_S$视为键，将 $V_S\text{VS}{V}_S$ 视为值求得${H\text{H}H}_{I\text{I}I}^{\prime }$。

${H\text{H}H}_S^{\prime }\in {\mathbb{R}}^{n\times d}$和${H\text{H}H}_I^{\prime }\in {\mathbb{R}}^{n\times d}$分别利用了相应的槽和意图信息。

残差连接，可以有效的改善深层模型中梯度消失的问题。

Layer Normalization，可以加速模型的收敛速度。当我们使用梯度下降法做优化时，随着网络深度的增加，数据的分布会不断发生变化,为了保证数据特征分布的稳定性，加入层归一化。

2.2.3. Feed-forward Network Layer

扩展前馈网络层以$隐式$融合意图和槽信息。 首先连接${H\text{H}H}_I^{\prime }$ 和${H\text{H}H}_S^{\prime }$以联合槽和意图信息：
$$H_{IS}\text{HIS}{H}_{IS}={H\text{H}H}_I^{\prime }\oplus {H\text{H}H}_S^{\prime }\text{\hspace{1em}(5)}$$
其中， H I S = { h I S 1 , h I S 2 , . . . , h I S n } \pmb{H_{IS}}=\{\pmb{h}^1_{ IS},\pmb{h}^2_{IS},...,\pmb{h}^n_{IS}\} HIS​​HIS​​​HIS​={hhhIS1​,hhhIS2​,...,hhhISn​}

每个token用词特征：
$${h\text{h}h}_{(f,t)}^t={h\text{h}h}_{IS}^{t-1}\oplus {h\text{h}h}_{IS}^t\oplus {h\text{h}h}_{IS}^{t+1}\text{\hspace{1em}(6)}$$
前馈网络层$(FNN)$融合意图和槽信息：
$$FFN({H\text{H}H}_{(f,t)})=max(0,{H\text{H}H}_{(f,t)}{W\text{W}W}_1+b_1){W\text{W}W}_2+b_2\text{\hspace{1em}(7)}$$

$$\widehat{{H\text{H}H}_I}=LN({H\text{H}H}_I^{\prime }+FFN({H\text{H}H}_{(f,t)}))\text{\hspace{1em}(8)}$$

$$\widehat{{H\text{H}H}_S}=LN({H\text{H}H}_S^{\prime }+FFN({H\text{H}H}_{(f,t)}))\text{\hspace{1em}(9)}$$

其中，${H\text{H}H}_{(f,t)}=({h\text{h}h}_{(f,t)}^1,{h\text{h}h}_{(f,t)}^2,...,{h\text{h}h}_{(f,t)}^t)$，$\widehat{{H\text{H}H}_I}$ 和 $\widehat{{H\text{H}H}_S}$是获得的更新的意图和槽信息，分别对齐相应的槽和意图特征。

2.3. Decoder for Slot Filling and Intent Detection

为了在两个任务之间进行充分的交互，应用了一个具有多层的堆叠式协同交互注意网络。

堆叠L层后，得到最终更新的槽和意图表示${\widehat{H\text{H}H}}_I^{(L)}=({\widehat{h\text{h}h}}_{(I,1)}^{(L)},{\widehat{H\text{H}H}}_{(I,2)}^{(L)},...,{\widehat{H\text{H}H}}_{(I,n)}^{(L)})$，

${\widehat{H\text{H}H}}_S^{(L)}=({\widehat{h\text{h}h}}_{(S,1)}^{(L)},{\widehat{H\text{H}H}}_{(S,2)}^{(L)},...,{\widehat{H\text{H}H}}_{(S,n)}^{(L)})$

意图检测：

因为前面输出的${\widehat{H\text{H}H}}_I^{(L)},{\widehat{H\text{H}H}}_S^{(L)}$都是矩阵，但是意图检测需要的是一个向量经过softmax，所以要想办法把矩阵转换成向量。作者这里用的是CNN里面的maxpooling。

在${\widehat{H\text{H}H}}_I^{(L)}$上应用 $maxpooling$ 操作来获得句子表示 $c\text{c}c$，$c\text{c}c$作为意图检测输入：
$${\widehat{y\text{y}y}}^I=softmax(W^{I}c\text{WIc}{W}^{I}c+b_S\text{bS}{b}_S)\text{\hspace{1em}(10)}$$

$$o^I=argmax({\widehat{y\text{y}y}}^I)\text{\hspace{1em}(11)}$$

针对上面所说举个例子，结果是二分类，所以最后的块只有两种颜色。图中token数量为7，维度为5，3种不同尺寸的卷积核，每种尺寸有两个卷积核，经过一层卷积之后再经过maxpooling层，最后将6个拼接得到一个向量，对向量求softmax。

图片来源A Sensitivity Analysis of (and Practitioners’ Guide to) Convolutional Neural Networks for Sentence Classification

槽填充：

用标准CRF层建模标签之间的依赖：
$${O\text{O}O}_S={W\text{W}W}^S{\widehat{H\text{H}H}}_S^{(L)}+{b\text{b}b}_S\text{\hspace{1em}(12)}$$

$$P(\widehat{y\text{y}y}|{O\text{O}O}_S)=\frac{{\sum }_{i=1}expf(y_{i-1},y_i,{O\text{O}O}_S)}{{\sum }_{y^{\prime }}{\sum }_{i=1}expf(y_{i-1}^{\prime },y_i^{\prime },{O\text{O}O}_S)}\text{\hspace{1em}(13)}$$

其中，$f(y_{i-1},y_i,{O\text{O}O}_S)$计算$y_{i-1}$到$y_i$的转移分数，$\widehat{y\text{y}y}$表示预测的槽标签序列。

3.实验

3.1. 数据集和参数设置

$\bullet$ 数据集：$ATIS$ 和 $SNIPS$

$\bullet$ 共享编码器和协同交互模块的隐藏神经元个数：$128$

$\bullet$ 数据集：$ATIS$ 和 $SNIPS$用 300d GloVe 预训练向量作为初始化嵌入

$\bullet$ 协同交互模块的数量为 $2$。

$\bullet$ L2 正则化为 $1\times 10^{-6}$，协同交互模块的丢弃率设置为$0.1$。

$\bullet$ 使用 $Adam$优化模型的参数。

$\bullet$ 使用 $F1$ 分数评估槽填充的性能，使用$Accuracy$评估意图预测，使用$整体准确性$评估句子级语义框架解析。

3.2. 实验结果分析

1.与仅利用意图信息来指导槽填充的基线 Slot-Gated 和 Stack-Propagation 相比，作者提出的模型获得了很大的改进。原因是考虑了两个任务之间的交叉影响，其中槽信息可用于改进意图检测。值得注意的是，该模型和 Stack-Propagation 之间的参数大小相同，这进一步验证了该模型的贡献来自双向交互而不是参数因素。

2.SF-ID Network 和 CM-Net 也可以看作是考虑了两个任务之间的相互交互。然而，他们的模型不能同时对交叉影响进行建模，这限制了他们的性能。本文在 SNIPS 和 ATIS 数据集的总体acc 上分别比 CM-Net 高 6.2% 和 2.1%。作者认为原因是作者的框架在一个统一的网络中同时实现了双向连接。

3.本文框架+BERT优于Stack-Propagation+BERT，这验证了作者提出的模型是否基于BERT的有效性。

3.3. 消融实验

• 显式表示的影响

作者删除了意图注意层并用 $H$ 替换 $H_I$。这意味着只显式地获得槽表示，没有意图语义信息，将其命名为无意图注意力层。 同样，执行无槽注意力层实验。 结果如表 2 所示，可以观察到槽填充和意图检测性能下降，这表明初始显式意图和槽表示对于两个任务之间的协同交互层至关重要。

也可以观察到作者所提出的框架优于自注意力机制。 原因是自注意力机制仅隐式地对交互进行建模，而作者的协同交互层可以显式地考虑两个任务之间的交叉影响。

• 协同交互注意力 vs. 自注意力机制

通过使用 vanilla Transformer 中的 self-attention 层而不是该框架中的协同交互层，这可以看作是两个任务之间没有显式交互。具体来说，将来自标签注意层的 $H_S$ 和 $H_I$ 输出连接为输入，将其输入到自我注意模块中。结果如表 2 所示，可以看到本文的框架优于自注意力机制。原因是自注意力机制仅隐式地对交互进行建模，而协同交互层可以明确地考虑两个任务之间的交叉影响。

• 双向连接 vs. 单向连接

只保留从意图到槽或槽到意图的信息流的一个方向。 通过仅使用一种类型的信息表示表示作为查询来参与另一种信息表示来实现这一点，将其命名为“intent-to-slot”和“slot-to-intent”。 从表 2 中的结果来看，作者的框架在意图到插槽和插槽到意图方面的表现都更好。 可将其归因于对槽填充和意图检测之间的相互交互进行建模可以以相互的方式增强这两个任务的原因。 相比之下，他们的模型只考虑了信息流单一方向的交互。

4.总结

提出了一种用于联合模型槽填充和意图检测的协同交互Transformer，它能够充分利用相互交互的知识。 在两个数据集上的实验表明了所提出模型的有效性，我们的框架达到了最先进的性能。