论文阅读--COSMIC: COmmonSense knowledge for eMotion Identification in Conversations

COSMIC: COmmonSense knowledge for eMotion Identification in Conversations

Deepanway Ghosal, Navonil Majumder, Alexander F. Gelbukh, Rada Mihalcea, Soujanya Poria:COSMIC: COmmonSense knowledge for eMotion Identification in Conversations. EMNLP (Findings) 2020: 2470-2481

abstract

利用常识知识来解决对话中话语级别的情感识别任务.我们提出了COSMIC,一个结合了诸如心理状态,事件,因果关系等不同的常识元素,并以此为基础来学习对话中的对话者之间的互动的新框架.当前的方法经常在上下文传播,情感变换侦测以及区分相近的情感类别中遇到困难。通过学习不同的常识表示COSMIC解决了这些挑战.

1 Introduction

…

自然的对话是复杂的，因为它们是由几个不同的变量控制的，这些变量会影响对话的流畅性和参与者的情绪。这些变量包括:话题(topic),观点(viewpoint),说话者的个性(personality),论证逻辑(argumentation logic),意图(intent)…此外，个体的话语也受到被参与者在说出时的心理状态、意图和情绪状态的影响。在此对话模型中,随着对话的展开只有话语可以被观测到,而其他变量,比如说话者状态,潜在的意图等无法直接被其他对话参与者观测到.同样,说话者的情感状态无法被直接观测到,但它可以从已经被观测到的话语中推断出来.

对话中参与者的常识知识在推断对话中的潜在变量的任务中起到重要的作用.它们被用于指导对话参与者推理对话的内容,对对话进行规划,做出决定以及其他许多推理任务.它也被用于识别对话中其他细粒度元素,比如避免重复,提问问题,避免做出无关的回应等等,所有的这些控制对话的许多方面比如,流畅性,趣味性,好奇心或同理心等.因此，常识知识对于建模对话的性质和流程以及参与者的情感动态是必要的。在图1中举例说明了这样一种场景，其中常识知识被用来推断对话中话语的情感。

常识知识可以导致可解释性的对话理解.它会帮助模型理解,推断,并解释事件和情况.在上图的例子中,常识推断被应用于包含两个参与者的对话的话语序列中.A的第一句话表明她厌倦了和B争论.说话的语气也暗示B被A骂(大吼大叫)了,这激起了B本人的愤怒反应.然后B在其变得生气时问A想要让他做什么.这又导致了A的愤怒并导致她生气地回应B.这种关于说话者和听者的反应、效果和意图的常识推断有助于预测参与者的情绪动态。

自然语言通常表示一个人的情绪。理想情况下，ERC需要对单个话语进行上下文建模。该上下文可以归因于前面的话语，并且依赖于话语的时间顺序。基于词库和深度学习的普通的情感识别方法在ERC数据集上不能很好地工作，因为其忽略了对话的特定因素，如上下文线索的存在，说话人的时间转换，或说话人的特定信息。

本文提出了COSMIC,一个用于ERC的常识导向的框架,通在一个巨大的常识知识库上建立,所提出的框架捕获了个性,事件,精神状态,意图之间的一些复杂交互,从而更好地理解情感动态和对话的其他方面。

2 Related Work

会话情绪识别的主要方法是使用基于深度学习的算法在文本或多模态环境下进行上下文建模。

3 Methodology

3.1 Task definition

给定一段对话的文字记录以及每个组成话语的说话者信息，ERC任务的目标是从一组预定义的情绪中识别每个话语的情绪。正式的,给定N个话语组成的输入序列$[(u_1,p_1),(u_2,p_2),...,(u_N,p_N)]$,其中由说话者$p_i$说出的每个话语$u_i=[u_{i,1},u_{i,2},...u_{i,T}]$包含$T$个单词$u_{i,j}$,任务是预测每一个话语$u_i$的情感标签$e_i$.在文献中，解决此问题的主要方法是首先生成独立于上下文的表示，然后执行上下文建模。我们识别了这两个不同的建模阶段，并试图通过提出的模型框架对它们进行改进。

我们的框架包括三个主要阶段(见图2):

1. 从预训练的transformer语言模型中提取独立于上下文的特征。
2. 从常识知识图中提取常识特征.
3. 整合常识知识以设计更好的上下文表示并将其用于最终的情感分类。

3.2 Context Independent Feature Extraction

略

3.3 Commonsense Feature Extraction

使用常识转换模型COMET(Bosselut et al., 2019) 来提取常识特征.COMET在几个常识知识图上进行训练以执行自动知识库的构建。给模型提供一个来自知识图的三元组 { s , r , o } \{s,r,o\} {s,r,o},训练从连接的subject phrase s和relation phrase生成object phrase o。COMET是一个使用预训练的自回归语言模型GPT(Radford et al., 2018) 作为基础生成模型的编码-解码模型(encoder-decoder model).

为了进行生成常识性知识的建构任务， COMET 在一个通过文本描述组织起来的有关日常推理的如果-那么的常识知识的集合–ATOMIC上训练.ATOMIC 包含9中不同的如果-那么关系类型来区分主体与主题，原因与后果，自愿与非自愿事件以及行动与精神状态。给定由X参与的事件,这9种关系类型($r$)推断如下:

1. X的意图 intent of X
2. X的需求 need of X,
3. X的属性 attribute of X
4. X的影响 effect on X
5. X想要的 wanted by X
6. X的反应 reaction of X
7. 对他人的影响 effect on others
8. 其他人想要 wanted by others
9. 其他人的反应 reaction of others

例如,给定一个event或subject phrase($s$),“Person X gives Person Y a compliment”,COMET对relation phrase ($r$)的推断为intent of X和reaction of others可能分别是“X wanted to be nice”以及 “Y will feel flattered”

COMET是一个生成模型，如上例所示，它在主语和关系短语上产生一个常识知识的离散序列。然而在本模型中使用连续的常识表示向量.因此,我们利用在ATOMIC知识图上预训练的COMET并去掉了短语生成译码模块(phrase generating decoder module).将话语U作为subject phrase,并将其与relation phrase $r$进行连接.接下来,将连接形成的 { U ⊕ r } \{U\oplus r\} {U⊕r}送入COMET的编码器并提取最终时间步的激活.我们使用表一中展示的关系:intent of X,effect on X,reaction of X,effect on others and reaction of others(其中X是说话者,others是聆听者).执行这个特征提取操作会得为对话中的每个话语生成五个不同的向量(分别对应于五种不同的关系).这些向量是768维的.

ATOMIC中各种关系类型的性质允许我们将其自然地扩展到对话框架中。这种关系使对于例如内容(事件、人物、心理状态)和因果关系(原因、结果、静态)等现象的建模成为可能，这些现象都是理解对话上下文的基本要素。这些不同的关系是至关重要的，因为通常在整个谈话过程中，几乎所有的关系都有一个主要的相互作用.例如,关系1到6都与说话人有着内在的联系;关系7到9都与聆听者相关.在更细粒度的层面上,说话者和听者的意图、影响和反应都是理解对话本质的基础。我们推测，在一个统一的框架中采用这些变量将非常有助于创建对话的增强表征。

3.4 Commonsense Conversational Model

设在一次对话中有$M$个参与者$p_1.p_2,...p_M$ 以及$N$个话语$u_1,u_2,...,u_N$,其中话语$u_t$由当事人$p_{s(u_t)}$说出,对于每一个 t ∈ { 1 , 2 , ⋯ N } t\in\{1,2,\cdots N\} t∈{1,2,⋯N},将与上下文无关的 RoBERTa向量表示为$x_t$.与intent of X,effect on X, reaction of X, effect on others 以及 reaction of others相对应的常识向量分别表示为${\mathcal{I}\mathcal{S}}_{cs}(u_t),{\mathcal{E}\mathcal{S}}_{cs}(u_t),{\mathcal{R}\mathcal{S}}_{cs}(u_t),{\mathcal{E}\mathcal{L}}_{cs}(u_t),{\mathcal{R}\mathcal{L}}_{cs}(u_t)$.$X$表示说话者,$others$表示聆听者.

由于对话本质上是高度顺序的，并且上下文信息沿顺序流动，上下文状态$c_t$和注意力向量$a_t$表达了话语之间的顺序依赖关系。上下文状态和注意力向量总是由对话中的所有参与者所共享.

使用内部状态,外部状态和意图状态来对参与者不同的心理状态，动作和事件进行建模。对于参与者$k\in [1,2,...,M]$它们被表示为$q_{k,t},r_{k,t},i_{k,t}$.内部状态和外部状态可以统称为说话者状态。然后从这三个状态和前一情绪状态中建模情感状态$e_t$.最后,中情绪状态中推断出话语的合适的额情感类别.

在此框架中,上下文和常识建模利用GRU单元进行建模.GRU单元的输入为$y_t$并使用转换$h_t=GRU(h_{t-1},y_t)$将隐藏状态$h_{t-1}$更新为$h_t$.新的隐藏状态同时充当当前step的的输出.GRU单元含有参数$W$偏置$b$以及输出$h_t$.使用5个双向单元GRU:$GR{U}_C,GR{U}_Q,GR{U}_R,GR{U}_I,GR{U}_E$来分别建模上下文状态,内部状态,外部状态,意图状态和情感状态.为了便于表示，我们在这里用单向GRU单元来表示不同状态。

• Context State:上下文状态按照对话流的顺序存储和传播整个会话级信息。此状态使用$GR{U}_C$在当话语被每个参与者$p_{s(u_t)}$说出的每个时间步$t$之后更新.RoBERTa特征$x_t$及就在话语被说出之前,上一时刻此说话者(指说出当前话语的人,而非上一个时刻说话的人???)的内部状态$q_{s(u_t),t-1}$以及外部状态$r_{s(u_t),t-1}$被连接起来充当$GR{U}_C$的输入向量.
  $$c_t=GR{U}_C(c_{t-1},(x_t\oplus q_{s(u_t),t-1}\oplus r_{s(u_t),t-1}))\text{\hspace{1em}(1)}$$
  同时,还使用soft-attention来从历史上下文$[c_1,c_2,...,c_{t-1}]$中池化注意力向量$a_t$.这个注意力向量被用于后面执行内部和外部状态的更新.
  $$\begin{array}{c}{u}_i=tanh(W_s{c}_i+b_s),i\in [1,t-1]\\ {\alpha }_i=\frac{\exp (u_i^T{x}_i)}{\sum _{i=1}^{t-1}\exp (u_i^T{x}_i)}\\ a_t=\sum _{i=1}^{t-1}{\alpha }_i{c}_i\end{array}\text{\hspace{1em}(2)}$$
• Internal State:对话参与者的内部状态取决于个人的感受以及从其他参与者那里感受到的影响。这种状态可能会被掩盖，参与者可能不会总是通过外部立场或反应明确表达自己的感觉或观点。除了感觉之外，这种状态还可以被认为包括参与者积极尝试不去表达的方面，或者被认为是常识而不需要明确沟通的特征。因此，对自己的影响是表示参与者内部状态的基本元素。使用$GR{U}_Q$来对参与者的内部状态进行建模.对于时间步$t$,说话者$p_{s(u_t)}$的内部状态通过将注意力向量$a_t$二号常识向量’effect on speaker’${\mathcal{E}\mathcal{S}}_{cs}(u_t)$考虑进来以进行更新:
  $$q_{s(u_t),t}=GR{U}_Q(q_{s(u_t),t-1},(a_t)\oplus {\mathcal{E}\mathcal{S}}_{cs}(u_t))\text{\hspace{1em}(3)}$$
  对于除了说话者之外的其他参与者.使用’effect on listeners’${\mathcal{E}\mathcal{L}}_{cs}(u_t)$来进行更新:
  $$q_{i,t}=GR{U}_Q(q_{j,t-1},(a_t\oplus {\mathcal{E}\mathcal{L}}_{cs}(u_t)));\forall j\ne s(u_t)\text{\hspace{1em}(4)}$$
• External State:与内部状态不同，参与者的外部状态都是关于表达、反应和响应的。例如，实际的话语，发音方式，语音和其他声学特征，视觉表达，手势和姿态都可以被宽松地认为属于外部状态的范围。$GR{U}_R$通过将注意力向量$a_t$,话语向量$x_t$以及常识向量’reaction of speaker’${\mathcal{R}\mathcal{S}}_{cs}(u_t)$的连接作为输入,来更新说话者$p_{s(u_t)}$的外部状态
  $$r_{s(u_t),t}=GR{U}_R(r_{s(u_t),t-1},(a_t\oplus x_t\oplus {\mathcal{R}\mathcal{S}}_{cs}(u_t)))\text{\hspace{1em}(5)}$$
  对于聆听者,使用’reaction of listeners’${\mathcal{R}\mathcal{L}}_{cs}(u_t)$来进行更新
  $$r_{j,t}=GR{U}_R(r_{j,t-1},(a_t\oplus x_t\oplus {\mathcal{R}\mathcal{L}}_{cs}(u_t)));\forall j\ne s(u_t)\text{\hspace{1em}(6)}$$
• Intent State:意图是一种精神状态，代表着执行一组特定行动的承诺。讲话者的意图在决定谈话的情感动态方面起着重要的作用。在时间步$t$说话者的意图从$i_{s(u_t),t-1}$变为$i_{s(u_t),t}$.这种变化是由时间步$t$中的常识向量’intent of speaker’${\mathcal{I}\mathcal{S}}_{cs}(u_t)$和内部说话者的状态$q_{s(u_t),t}$引起的.通过$GR{U}_I$来捕获意图状态.
  $$i_{s(u_t),t}=GR{U}_I(i_{s(u_t),t-1},({\mathcal{I}\mathcal{S}}_{cs}(u_t)\oplus q_{s(u_t),t}))\text{\hspace{1em}(7)}$$
  聆听者(s)的意图保持不变.这是因为沉默的参与者的意图不应该改变。只有当特定的参与者再次发言时，变化才会发生。
  $$i_{j,t}=i_{j,t-1};\forall j\ne s(u_t)\text{\hspace{1em}(8)}$$
• Emotion State:情感状态决定了说话者的情绪以及话语的情感类别.假设情感状态取决于话语以及考虑了内部,外部,意图状态的说话者的复合状态.当前的情感状态同样依赖于说话者早先的情感状态。$GR{U}_E$通过结合所有因素来捕获情感状态:
  $$e_t=GR{U}_E(e_{t-1},(x_t\oplus q_{s(u_t),t}\oplus r_{s(u_t),t}\oplus i_{s(u_t),t}))\text{\hspace{1em}(9)}$$
• Emotion Classification:最后对话中的话语通过一个全连接网络从$e_t$中进行分类
  $$\begin{array}{l}{P}_t=softmax(W_{smax}{e}_t+b_{smax});\forall t\in [1,N]\\ {\hat{y}}_t=\underset{k}{\mathrm{argmax}}({\mathcal{P}}_t[k])\end{array}\text{\hspace{1em}(10)}$$

Experimental Setup

4.1 Datasets

在四个不同的对话情感识别数据集:IEMO-CAP,MELD,DailyDialog and EmoryNLP.其中IEMOCAP和DailyDialog 是二元对话,MELD和EmoryNLP是多方对话.对各个数据集上的文本信息进行实验.

4.2 Training Setup

对上下文无关的特征提取,RoBERTa 模型在.话语的结合和它们的情感标签中进行微调.使用学习率为$10^{-5}$的Adam优化器,batch的大小为32个话语来训练RoBERTa 模型.在 MELD和EmoryNLP数据集中,在第一层和倒数第二层之间使用残差连接，这会在情感识别模型的训练中带来更大的稳定性。情感识别模型使用学习率为$10^{-4}$的Adam优化器进行训练.