《Emotion-Cause Pair Extraction》论文解读

《Emotion-Cause Pair Extraction》论文解读

这是一篇2019ACL的杰出论文，链接: https://arxiv.org/abs/1906.01267v1.

Abstract

       Emotion cause extraction (ECE),实现的是在文本中给定情感，提取出潜在的原因。这个问题近些年广泛应用而得到人们的关注，然而ECE有两个不足：

• 在原因提取之前情感必须要被标注；
• 先标注、再提取忽视了二者的相互关系。

所以该论文提出了新的任务：emotion-cause pair extraction (ECPE)，用来提取潜在的“情感-原因”对。在ECPE中分为两步，首先通过多任务学习分别提取情感和原因，然后进行情感和原因的配对并进行过滤。

Main contributions：

• 提出了新任务ECPE，解决了传统ECE任务依赖于标注的短板
• 提出了two-step框架解决ECPE
• 基于ECE语料库构造了适合ECPE任务的语料库

1.Introduction

       如下图所示，有五个子句，情感“happy”在第四个句子中，并称之为emotion clause，它有两个对应的cause clause：“a policeman visited the old man with the lost money”和“told him that the thief was caught”，由于包含着原因，所以这两个定义为cause clause。

       ECE任务是一个二分类问题，目标是检查文档中的每一个子句是否是被标注情感的原因。这篇论文提出的ECPE与ECE的区别如下图所示，ECPE的输出为“情感-原因”对，不需要事先对情感进行标注。在下图的例子中，在ECE中，已知情感是“happy”，目标是提取出两个cause clause：“a policeman visited the old man with the lost money”和“and told him that the thief was caught”；在ECPE中，目标是直接提取所有的 “情感-原因” 对，有：(“The old man was very happy”, “a policeman visited the old man with the lost money”)和(“The old man was very happy”,“and told him that the thief was caught”)

本文提出的任务主要有两个步骤：

• 把“情感-原因”提取任务通过多任务学习网络分为两个独立的任务：提取出情感子句 E = { c 1 e , ⋯   , c m e } E=\{c_1^e,\cdots,c_m^e\} E={c1e​,⋯,cme​}和原因子句 C = { c 1 c , ⋯   , c n c } C=\{c_1^c,\cdots,c_n^c\} C={c1c​,⋯,cnc​}
• 将 E 和 C 通过笛卡尔乘积进行配对，通过训练一个filter过滤掉不包含情感和原因关系的配对

2.Approach

        首先给出ECPE符号定义：一个包含多个子句的文档 d = { c 1 , c 2 , ⋯   , c ∣ d ∣ } d=\{c_1,c_2,\cdots,c_{\vert d\vert}\} d={c1​,c2​,⋯,c∣d∣​}
ECPE的目标是提取“情感-原因”对： P = { ⋯   , ( c e , c c ) , ⋯   } P=\{\cdots,(c^e,c^c),\cdots\} P={⋯,(ce,cc),⋯}
其中，$c^e$是情感子句，$c^c$是原因子句；在传统抽取任务中，目标是在给定$c^e$的条件下抽取$c^c$： $c^e\to c^c$

• Step 1：情感提取和原因提取
          第一步有Independent Multi-task Learning和 Interactive Multi-task Learning两种方法，后者要优于前者，可以在前者基础上进一步抓取了情感和原因之间的联系，下面对这两种方法进行介绍：
  • Independent Multi-task Learning
            有文档 d = { c 1 , c 2 , ⋯   , c ∣ d ∣ } d=\{c_1,c_2,\cdots,c_{\vert d\vert}\} d={c1​,c2​,⋯,c∣d∣​}，每个句子$c^i$包含多个单词 c i = { w i , 1 , w i , 2 , ⋯   , w i , ∣ c i ∣ } c_i=\{w_{i,1},w_{i,2},\cdots,w_{i,\vert c_i\vert}\} ci​={wi,1​,wi,2​,⋯,wi,∣ci​∣​}, 使用2层的Bi-LSTM，如下图所示
    
    底层用的是word-level的Bi-LSTM，每个Bi-LSTM对应一个子句，获得每个子句中单词的上下文信息，通过attention机制获得句子的表示$s^i$,（原文中没有写具体形式，个人认为这里的attention，大概体现在子句中每个单词的重要程度）；第二层对应为两部分，一个是情感提取一个是原因提取，每个Bi-LSTM都是句子级别的，接收下层传上来的句子的表示$[s_1,s_2,\cdots ,s_{|d|}]$,隐藏状态$r_i^e$和$r_i^c$可以看作是句子$c^i$的context-aware representation，最终送入softmax层进行情感预测和原因预测（下标e和c分布代表情感和原因）：
    $${\hat{y}}_i^e=softmax(W^e{r}_i^e+b^e)；{\hat{y}}_i^c=softmax(W^c{r}_i^c+b^c)$$$L^e$和$L^c$是情感预测和原因预测的交叉熵损失，λ为权衡参数，模型的损失函数为：
    $$L^p=\lambda L^e+(1-\lambda )L^c$$
  • Interactive Multi-task Learning
            上一方法中顶层的两部分是相互独立的，给定情感可以有助于提取原因，但是给定原因也有助于提取情感，于是Interactive Multi-task Learning致力于捕捉情感和原因之间的关系。使用情感抽取来帮助原因抽取的方法称为Inter-EC，用原因抽取来帮助情感抽取的方法称为Inter-CE，二者的结构相似，文章只对Inter-EC进行了介绍，结构如下图所示：
    
    底层得到的句子表示$[s_1,s_2,\cdots ,s_{|d|}]$作为情感提取的输入，隐藏状态$r_i^e$是标签${\hat{y}}_i^e$的特征，${\hat{y}}_i^e$经过嵌入得到$Y_i^e$，继续向上走，$(s_1\oplus Y_i^e,s_2\oplus Y_2^e,\cdots ,s_{|d|}\oplus Y_{|d|}^e)$（⊕代表concatenation）作为原因提取的输入，隐藏态$r_i^c$用来预测${\hat{y}}_i^c$，至此实现了两者的交互
• Step 2：情感原因的配对和过滤
         经过Step 1，得到了一组情感情感子句 E = { c 1 e , ⋯   , c m e } E=\{c_1^e,\cdots,c_m^e\} E={c1e​,⋯,cme​}和原因子句 C = { c 1 c , ⋯   , c n c } C=\{c_1^c,\cdots,c_n^c\} C={c1c​,⋯,cnc​}；Step 2中，E和C做笛卡尔乘积，得到所有可能的配对 P a l l = { ⋯   , ( c i e , c j c ) , ⋯   } P_{all}=\{\cdots,(c_i^e,c_j^c),\cdots\} Pall​={⋯,(cie​,cjc​),⋯},接下来$P_{all}$中的每一对都用有三种特征构成的特征向量表示：
  $$x_{(c_i^e,c_j^c)}=[s_i^e,s_j^c,v^d]$$
  其中$s^e$和$s^c$是情感子句和原因子句的表示，$v^d$代表两个句子的距离。
          接着用逻辑回归检测每个候选对$(c_i^e,c_j^c)$是否有因果关系，
  $${\hat{y}}_{(c_i^e,c_j^c)\leftarrow \delta ({\theta }^T{x}_{(c_i^e,c_j^c)})}$$
  $(c_i^e,c_j^c)$存在因果关系时${\hat{y}}_{(c_i^e,c_j^c)}=1$，否则${\hat{y}}_{(c_i^e,c_j^c)}=0$;$\delta ()$是Sigmoid函数，最终将$P_{all}$中${\hat{y}}_{(c_i^e,c_j^c)}=0$的对移除，就得到了最终的“情感-原因”对。