论文阅读--Modeling both Intra-and Inter-modal Influence for Real-Time Emotion Detection in Conversations

Modeling both Intra- and Inter-modal Influence for Real-Time Emotion Detection in Conversations

Dong Zhang, Weisheng Zhang, Shoushan Li, Qiaoming Zhu, Guodong Zhou:Modeling both Intra- and Inter-modal Influence for Real-Time Emotion Detection in Conversations. ACM Multimedia 2020: 503-511

Abstract

经过近十年的探索，对话中的情感分析主要是在文本场景中进行的。如今，随着语音和视频通信的普及，学术界和工业界已经逐渐意识到多模式场景的必要性。… 以前的研究通常认为对话中当前话语的情感很大程度上受历史话语的内容、其说话者和情感的影响，但他们以相同的粒度对历史对当前话语的影响进行了建模（模态内影响,Intra-modal influence）。直觉上，情感识别的线索可能不存在于与当前话语相同的模态的历史中，而是存在于其他模态的历史中（模态间的影响）。此外，以往的研究通常将信息传播建模为会话流。直观上，对对话中信息传播的双向建模为情感检测提供了丰富的线索。因此，本文提出了一种双向动态双重影响网络，用于对话中的实时情感检测，其可以使用当前话语及其历史话语的双向信息传播同时来同时建模模态内和模态间的影响。

1 NTRODUCTION

…

与非对话的多模式情感分析不同，现有的ERC研究通常认为话语的情感受历史语境的影响，包括历史上下文，说话者和情感。例如图1所示，当预测话语$u_3$所表的的情感时，对于单模态或在其的多模态融合的对话，历史话语$u_1,u_2$通常对于$u_3$表达的情感有一定确定的影响。可以观察到，影响保持在相同特征空间内的相同粒度上，并且在这种情况下，我们将这种影响称为模态内影响。

尽管一些方法[9,10,19,31]已经被提出来处理会话中的多模态情感检测，但是仍然存在一些局限性。

在另一方面，虽然可以使用多模态融合技术整合一个话语的多模态特征来作为具有模态内方法的输入，但它仍然以相同的维度进行拼接，而不是跨模态上下文的影响。更具体地说，模态内上下文往往缺乏信息，因此情绪的推理可以依赖于当前话语和历史上下文之间的交互作用。例如，图1b所示，对于文本类型的上下文，当预测话语$u_3$的情感时，文本类型的历史上下文$u_1,u_2$可能对于$u_3$没有影响。但声学的上下文可能会给出能够准确预测话语$u_3$情感的线索。我们将这种情况下的影响称为跨模式影响，而这种影响被以往的研究完全忽视了。因此我们认为一个好的ERC方法应当同时对模态内和模态间的影响进行建模。

此外，一些研究以一种静态的方式来解决ERC问题，这意味着需要检测情感的对话已经进行完毕，因此他们可以考虑目标话语的历史和未来的上下文。与这些研究不同，本文专注于实时的对话情感识别。在本研究中没有未来上下文的存在。因此仅可以利用来历史上下文来实时的识别情感。但常规的实时ERC方法通常仅考虑对话中信息的单向传递。但是在实时对话中所有话语的双向信息传播可以带来更多用于情感识别的线索。例如图一所示，传统的影响顺序是，话语$u_1,u_2$所表达的情感可以帮助话语$u_3$的情感的识别，但是前面话语的情感也是实时识别的。如果引入双向的传播，话语$u_3$所蕴含的情感可以帮助更加精确的识别$u_1,u_2$所表达的情感，这可以减少传统的单项影响所产生的错误积累。因此我们认为一个好的ERC方法应当利用双向的信息传递。

为了解决上述局限，本文提出了一种双向动态双重影响网络 (BiDDIN)来有效的识别对话中话语的情感。具体来说，我们使用三组GRU为每种模态动态捕获由对话中的话语、说话者和情绪所传递的信息。在此基础上，我们为每个话语设计了一个双重影响块，以产生三个模态特定的影响向量。然后，这些影响向量分别通过与每个模态相对应的GRU块整合到说话者和情绪状态中。最后，将不同模态的情感GRU的输出自适应地融合为多模态情感向量，进一步将其用于执行情感检测。此外，我们的方法改变了传统的会话影响顺序，对双向信息进行建模，有效地捕捉到更丰富的线索，从而更好地实现会话中多模态情感的实时检测。

2 RELATED WORKS

目前的研究可以将ERC分为两类：静态类型和实时类型。

2.1 单模态实时ERC

。。。

这些方法只能对实时ERC中的模态内影响进行建模。

2.2 多模态实时ERC

对于多模态信息，以往的研究通常依赖于多模态的早期融合。这些研究忽略了上下文的跨模态影响，只能捕捉到对话中的单向信息传播。

3 METHODOLOGY

任务定义：

假设对话到目前已经进行了$i$轮，并有话语序列 C i = { u 1 , u 2 , . . . , u i } \mathcal{C}_i=\{u_1,u_2,...,u_i\} Ci​={u1​,u2​,...,ui​}和相应的说话者序列 S i = { s 1 , s 2 , . . . , s i } \mathcal{S}_i=\{s_1,s_2,...,s_i\} Si​={s1​,s2​,...,si​}，第$i$个话语$u_i$作为目标话语，其他话语作为历史话语。每一个话语表达来自于情感集合$\mathcal{E}$中的一种情感类别$e_c$，比如 joy, sadness,neutral。此外，每个话语还表达了具有连续维度得分的多个情感属性$e_r$，比如valence,arousal和expectancy。目标是在历史话语的条件下设计并训练一个分类模型来预测目标话语$u_i$的情感类别$e_c$，并训练一个回归模型来预测目标话语$u_i$的情感维度$e_r$。实际上，因为对话中的所有话语(包括相应的说话者和情感)之间存在丰富的关联，我们需要动态地建模目标话语及其先前话语之间的影响。因此所设计的分类模型${\mathcal{M}}_c$可以同时预测序列${\mathcal{C}}_i$中的每一个话语的情感类别$e_c$,并且回归模型${\mathcal{M}}_r$可以同时预测序列${\mathcal{C}}_i$中的每一个话语的情感维度$e_r$。形式化为：
$$e_{c,1},e_{c,2},...,e_{c,3}={\mathcal{M}}_c(C_i,S_i)\text{\hspace{1em}(1)}$$
$$e_{r,1},e_{r,2},...,e_{r,3}={\mathcal{M}}_r(C_i,S_i)\text{\hspace{1em}(2)}$$
其中$e_{c,i},e_{r,i}$分别是第$i$个话语的情感类别和情感维度。

3.1 Utterance Representation

使用文本、声音、视频三种模态的数据

[8]Yue Gu, Kangning Yang, Shiyu Fu, Shuhong Chen, Xinyu Li, and Ivan Marsic. 2018.Hybrid Attention based Multimodal Network for Spoken Language Classification.InProceedings of the 27th International Conference on Computational Linguistics(COLING). 2379–2390.
[9]Devamanyu Hazarika, Soujanya Poria, Rada Mihalcea, Erik Cambria, and RogerZimmermann. 2018.  ICON: Interactive Conversational Memory Network forMultimodal Emotion Detection. InProceedings of the 2018 Conference on EmpiricalMethods in Natural Language Processing (EMNLP). 2594–2604.

• 文本特征
  • 使用[9]中的方法
• 声学特征
  • 使用[8]中的方法
• 视觉特征
  • 使用[9]中的方法

3.2 Uni-modal Influence Modeling for Real-time Emotion Detection in Conversations

[19]Navonil  Majumder,  Soujanya  Poria,  Devamanyu  Hazarika,  Rada  Mihalcea,Alexander F. Gelbukh, and Erik Cambria. 2019.  DialogueRNN: An AttentiveRNN for Emotion Detection in Conversations. InProceedings of the Thirty-ThirdAAAI Conference on Artificial Intelligence (AAAI). 6818–6825.

在本节，我们引入[19]中的dynamic attentive RNN架构来对话中两个说话者交互过程进行模拟。这种架构以单模态或早期融合的多模态特征作为输入，就像图2中所示。我们引入此模块用来建模对话中的三种元素的状态：

1. 说话者
2. 由前面的话语给出的上下文(文本，音频，视频)
3. 前面话语蕴含的情感

全局状态(Global GRU).全局状态目标是通过联合编码前面话语和说话者状态来捕获给定话语的上下文。形式化为
$$g_i=GR{U}_{\mathcal{G}}((u_i\oplus q_{s(u_i),i-1}),g_{i-1})\text{\hspace{1em}(3)}$$
其中$g_i\in R^{d_g}$表示第$i$轮话语的上下文传播的全局状态表示。$q_{s(u_i),i-1}\in R^{d_p}$ 表示说话者$s(u_i)$在第$i-1$轮时刻的说话者状态表示。在二元对话中，一般使用两个符号:$F$ 女性, $M$ 男性 来描述$s(u_i)$

说话者状态(Party GRU).dynamic attentive RNN使用贯穿实时对话的固定大小的向量$q_{\cdot ,\cdot }$来持续追踪单个说话者的状态。因为不同的说话者在对话中扮演不同的角色，我们需要对说话者敏感(speaker-sensitive)的连续状态进行建模.
$$q_{s(u_i),i}=GR{U}_{\mathcal{P}}((u_i\odot c_i),q_{s(u_i),i-1})\text{\hspace{1em}(4)}$$
其中$c_i\in R^{d_g}$表示第$i$轮话语的上下文表示，即对话中先前话语的有效信息。我们使用话语表示$u_i$作为query来学习与话语$u_i$在情感上相关的历史话语之上的注意力分数$\alpha \in R^{i-1}$
$$c_i=Att(u_i,[g_1,g_2,...,g_{i-1}])\text{\hspace{1em}(5)}$$
其中$Att(\cdot ,\cdot )$是带有注意力机制的函数，其以query(即目标话语$u_i$)和value(即$[g_1,g_2,...,g_{i-1}]$)作为输入。

情绪状态(Emotion GRU).对话信息经由全局和说话者状态进行传播的情感状态表示$e_i\in R^{d_e}$ 可以从说话者状态和先前的情感状态$e_{i-1}\in R^{d_e}$中建立
$$e_i=GR{U}_{\mathcal{E}}(q_{s(u_i),i-1},e_{i-1})\text{\hspace{1em}(6)}$$
最后情感状态被用来通过分类器和回归器来分别预测情感类别和情感属性。

3.3 Multi-modal Influence Modeling for Real-Time Emotion Detection in Conversations

在本节，首先介绍单向动态双影响网络(DDIN)，其可以有效的处理模态内和模态间的影响。接着介绍本文提出的双向动态双影响网络(BiDDIN),如图3所示，其可以更进一步的对对话中双向传播线索。

Influence Modeling by Positional Attention.按照惯例，影响操作可以通过软注意力作为上下文记忆的加权和来获得上下文向量来处理，但这完全失去了记忆中的位置和顺序信息。因此我们结合位置信息来建立影响关系并汇总上下文。不同于transformer序列中的自注意力，本文的位置注意力是为话语向量和它的上下文序列而设计的。我们以话语$u_i\in R^{d_u}$和它的上下文$G_{i-1}=[g_1,g_2,...,g_{i-1}]$为例，其中，上下文中的每一个向量,如$g_{i-1}$已经借助[25]中的方法包含了位置嵌入。

[25]Ashish  Vaswani,  Noam  Shazeer,  Niki  Parmar,  Jakob  Uszkoreit,  Llion  Jones,Aidan N. Gomez, Lukasz Kaiser, and Illia Polosukhin. 2017.  Attention is Allyou Need. InAdvances in Neural Information Processing Systems 30: Annual Con-ference on Neural Information Processing Systems. 5998–6008

$$em{b}_t^{pos}[2j]=\sin (\frac{t}{10000^{2j/d_g}})\text{\hspace{1em}(7)}$$
$$em{b}_t^{pos}[2j+1]=\cos (\frac{t}{10000^{2j/d_g}})\text{\hspace{1em}(8)}$$
其中$2j,2j+1$是位置嵌入的偶数和技术的位置索引，$t$表示上下文中的时间步，$d_g$表示$em{b}_t^{pos}$的维度。

接着Querys定义为$Q_u=u_i{W}_{Q_u}$，Keys定义为$K_g=G_{i-1}{W}_{K_g}$,Values定义为$V_g=G_{i-1}{W}_{V_g}$，其中$W_{Q_u}\in R^{d_u\times d_k},W_{K_g}\in R^{d_g\times d_v},W_{V_g}\in R^{d_g\times d_v}$ 是可训练的权重。
$$\begin{array}{rl}{c}_i& =Att(u_i,G_{i-1})\\ & =softmax(\frac{Q_u(K_g{)}^T}{\sqrt{d_k}})V_g\\ & =softmax(\frac{u_i{W}_{Q_u}(W_{K_g}{)}^T{G}_{i-1}^T}{\sqrt{d_k}})G_{i-1}{W}_{V_g}\end{array}\text{\hspace{1em}(9)}$$
其中$c_i$表示上下文$G_{i-1}$对话语$u_i$的影响向量，其也可以看作经过有效的上下文汇总的上下文向量。注意话语$u_i$和它的上下文$G_{i-1}$可以从不同的模态中得到，即模态间的影响。

在本文的双影响网络中，全局状态、说话者状态和情感状态块通过对每一个模态独立的建立这三个块来扩展到多模态的情况中。注意，符号$m$表示下列文本$T$、音频$A$或视觉$V$中的一种模态,即 m ∈ { T , A , V } m\in\{T,A,V\} m∈{T,A,V}。

Multimodal Global States.因为目标是建模模态间的影响，我们需要对给定话语的上下文内容的每一个模态独立的建模。
$$g_i^m=GR{U}_{\mathcal{G}}^m((u_i^m\oplus q_{s(u_i),i-1}^m),g_{i-1}^m)\text{\hspace{1em}(10)}$$
其中$g_i^m\in R^{d_g}$表示在模态$m$下第$i$个话语的上下文传播的全局状态表示。$q_{s(u_i),i-1}^m\in R^{d_{\mathcal{P}}}$表示模态$m$下说话者 s ( u i ) ∈ { M , F } s(u_i)\in\{M,F\} s(ui​)∈{M,F}在第$i-1$个话语时的说话者状态表示。

Multimodal Party States.本文的动态双影响网络使用贯穿实时对话的固定大小的向量$q_{\cdot ,\cdot }^m$来持续追踪单个说话者的状态。因为一个说话者受到不同模态的上下文的影响，当前话语的语言，言语和面部表情可能会表达不同的情感，因此应当从不同模态的上下文中接收上下文影响并根据不同模态分别建模说话者的状态。
$$q_{s(u_i),i}^m=GR{U}_{\mathcal{P}}^m((u_i^m\oplus c_i^m),q_{s(u_i),i-1}^m)\text{\hspace{1em}(11)}$$
其中$c_i^m\in R^{d_g}$表示通过分层注意力机制获取的含有来自模态内和模态间影响的第$i$个话语的混合上下文表示。我们以受其他两个模态影响的文本模态为例。
$$\begin{array}{rl}{u}_{T\to T}& =Att(u_i^T,G_{i-1}^T)\\ u_{A\to T}& =Att(u_i^T,G_{i-1}^A)\\ u_{V\to T}& =Att(u_i^T,G_{i-1}^V)\\ c_i^T& =MF([u_{T\to T},u_{A\to T},u_{V\to T}])\end{array}\text{\hspace{1em}(12-15)}$$
其中$MF(\cdot ,\cdot ,\cdot )$是特定模态的说话人状态的控制模态内和模态间影响的不同贡献的模态融合函数。
$$\alpha =softmax(W_{\alpha }[u_{T\to T},u_{A\to T},u_{V\to T}{]}^T)\text{\hspace{1em}(16)}$$
$$c_i^T=\alpha [u_{T\to T},u_{A\to T},u_{V\to T}]\text{\hspace{1em}(17)}$$
其中$\alpha \in R^3$表示学习到的贡献分数,$W_{\alpha }\in R^{d_g}$是可训练的权重。

Multimodal Emotion States.正如前面所述，话语的语言，言语和面部表情的情绪强度各不相同甚至类别上都不同，每一个模态的情感表示可以通过相应模态的说话者状态和先前的情感状态来建立。
$$e_i^m=GR{U}_{\mathcal{E}}^m(q_{s(u_i),i-1}^m,e_{i-1}^m)\text{\hspace{1em}(18)}$$
其中$e_i,e_{i-1}\in R^{d_e}$。

基于此，我们可以获得三种特定模态的情感相关表示。为了控制对最终情感预测的不同贡献，我们引入了模态融合函数$MF(e_i^T,e_i^A,e_i^V)$来混合情感相关表示$e_i$。

Emotion Prediction.在每一个话语的获得混合情感相关表示之后，我们在现存的话语的情感状态$E=[e_1,e_2,...,e_i]$之上执行multi-head的自注意力机制以更进一步捕获对话中的上下文感知的表示$E=[e_1^{\prime },e_2^{\prime },...,e_i^{\prime }]$。
$$\begin{array}{rl}{E}^{\prime }& =SELFATT(E)\\ & =softmax(\frac{E{W}_Q{W}_K^T{E}^T}{\sqrt{d_k}})E{W}_V\end{array}\text{\hspace{1em}(19)}$$
其中输入$E$已将添加了位置嵌入，如公式(7)和(8)那样。$W_Q\in R^{d_e\times d_k},W_K\in R^{d_e\times d_k},W_V\in R^{d_e\times d_k}$是multi-head的自注意力机制的可训练参数。

最终，使用softmax层来计算每一个话语在情感类别集合$C$上的概率。
$$r_i=ReLU(W_r{e}_i^{\prime }+b_r)\text{\hspace{1em}(20)}$$
$$p_i=softmax(W_p{r}_i+b_p)\text{\hspace{1em}(21)}$$
$${\hat{y}}_i=\mathrm{argmax}(p_i)\text{\hspace{1em}(22)}$$
其中$W_r\in R^{d_r\times d_e},b_r\in R^{d_r},W_p\in R^{C\times d_r},b_r\in R^C$是情感分类块中的可训练权重。$p_i,{\hat{y}}_i$表示第$i$个话语的预测概率分布和情感类别。对于情感回归任务，softmax被替换为线性函数。

Bidirectional Version.根据以上的描述，本文所提出的DDIN可以很容易的扩展到双向版本BiDDIN来捕获对话中的双向信息传递。简单来说，将测试话语和前面的上下文翻转并用前述的DDIN来建模全局，说话者和情感状态。然后我们也可以从反转顺序的话语中获得情感状态表示。最终将前向和后向的情感状态向量进行连接来进行情感预测。

注意，虽然我们只想要目标话语的情感，但是我们利用目标话语和其前面话语的所有情感来联合训练并在测试中输出所有。这主要是因为我们的目的是使用现有话语之间的情绪信息来相互促进和提高预测的准确性。在BiDDIN中，我们建模双向的信息传播，这知会存在于目标话语和它前面的话语中。因此本方法看不到未来并在实时的情况下可以很好的执行。

4 EXPERIMENTATION

4.1 Experimental Settings

在两个数据集:IEMOCAP,AVEC上进行实验。

4.2 Baselines

• CMN
• ICON
• DiaRNN
• DFN
• AGHMN

4.3 Experimental Results

4.4 Analysis and Discussion