对话系统-口语理解-意图检测和槽填充：A Co-interactive Transformer for joint Slot Filling and Intent Detection

论文题目：A Co-interactive Transformer for joint Slot Filling and Intent Detection

原论文地址

PyTorch代码

论文精简版-PPT

1.背景

意图检测和槽填充是构建口语理解（SLU）系统的两个主要任务。

以前的研究要么用$多任务框架隐式地对两个任务进行建模$，要么$只考虑从意图到槽的单个信息流$。

先前的方法都没有在统一框架中同时对两个任务之间的双向连接进行建模。

针对以上问题，作者提出了 Co-Interactive Transformer，考虑了两个任务之间的交叉影响。 作者没有采用vanilla Transformer中的self-attention机制，而是提出了一个协同交互模块，通过在两个相关任务之间建立双向连接来考虑交叉影响，其中slot和intent可以参与到相应的任务中。

---

2.方法论

现有的联合模型可以分为两大类：

1.$采用具有共享编码器的多任务框架解决槽填充和意图识别$

虽然这些模型通过相互增强优于管道模型，但它们只是通过共享参数隐式地建模槽填充和意图识别两任务的关系

2.$明确应用意图信息指导槽填充任务$

缺点是只考虑了从意图到槽的单一信息流，并没有考虑槽到意图的信息流。

与普通的 Transformer 不同，本文框架中的核心组件是一个协同交互模块，用于对两个任务之间的关系进行建模，旨在考虑两个任务的交叉影响并提高两个任务。具体来说，在每个协同交互模块中，首先在意图和槽标签上应用$标签注意力机制$来捕获初始显式意图和槽表示，从而提取意图和槽语义信息。其次，意图和槽表示被输入到一个协同交互的注意力层中以进行交互。显式意图表示被视为查询，槽表示被视为获得槽感知意图表示的键和值。同时，显式槽表示被用作查询，意图表示被视为键和值以获得意图感知槽表示。以上这些操作可以建立跨intent和slots的双向连接。潜在的直觉是插槽和意图可以通过协同交互注意力机制关注相应的互信息。

2.1. Shared Encoder共享编码器

共享$Encoder$：$BiLSTM$，旨在利用词序中时间特征的优势

输入序列： { x 1 , x 2 , . . . , x n } , n 是 t o k e n \{x_1, x_2, . . . , x_n\},n是 token { x1​,x2​,...,xn​},n是token的数量

$BiLSTM$ 前向和后向读取输入序列，以产生一系列上下文敏感的隐藏状态 H = { h 1 , h 2 , . . . , h n } H=\{h_1, h_2,...,h_n\} H={ h1​,h2​,...,hn​} ，通过重复应用递归 $h_i=BiLSTM({\varphi }^{emb}(x_i),h_{i-1},h_{i+1})$，其中 ${\varphi }^{emb}(\cdot )$表示嵌入函数。

2.2. Co-Interactive Module协同交互模块

Co-Interactive 模块是框架的核心组件，旨在建立意图检测和槽填充之间的双向连接。
在 vanilla Transformer 的Encoder中，每个子层包括self-attention(自注意力) 和 a feed-forward network (前馈神经网络FFN)组成。 (这里只需关注Encoder部分，Decoder部分是有三个子层，橙色和蓝色的部分)

图片来源Attention Is All You Need

协同交互模块包含三部分，分别为：

1.意图和槽标签注意力层来获得明确的意图和槽表示。

2.利用协同交互注意力层而不是自注意力层来显式地对交互进行建模。

3.扩展了基本 FFN，以在隐式方法中进一步融合意图和槽信息。

2.2.1. Intent and Slot Label Attention Layer

用槽填充和意图检测解码层的参数作为槽嵌入矩阵和意图嵌入矩阵。

槽嵌入矩阵：${W\text{W}W}^S\in {\mathbb{R}}^{d\times |S^{label}|}$

意图嵌入矩阵：${W\text{W}W}^I\in {\mathbb{R}}^{d\times |I^{label}|}$
其中，$d$表示隐藏层维度，$|S^{label}|,|I^{label}|$分别表示槽标签和意图标签的数量，

在某种意义上可以看作是标签的分布。

意图和槽表示：

$H\text{H}H\in {\mathbb{R}}^{n\times d}$为$Q(query)$， W v ∈ R d × ∣ v l a b e l ∣ ( v ∈ { I   o r S } } ) \pmb{W}^v\in\mathbb{R}^{d\times|v^{label}|}(\pmb{v}\in\{I\ or S\}\}) WWWv∈Rd×∣vlabel∣(vvv∈{ I orS}})为$K(key)$和$V(value)$

利用上述信息获得带有意图标签注意力的意图表示${H\text{H}H}_v$
$$A\text{A}A=softmax(H\text{H}H{W}^v\text{Wv}{W}^v)\text{\hspace{1em}(1)}$$

$$\begin{gathered} H_v\text{Hv}{H}_v=H\text{H}H+{A{W}^v\text{AWv}A{W}^v}^{\mathrm{T}} \\ =H\text{H}H+Attention(H\text{H}H,W^v\text{Wv}{W}^v,W^v\text{Wv}{W}^v)\text{\hspace{1em}(2)} \end{gathered}$$

H I ∈ R n × d \color{Red}\pmb{H_I}\in\mathbb{R}^{n\times d} HI​​