【论文阅读】An Interactive Multi-Task Learning Network for End-to-End Aspect-Based Sentiment Analysis

最新推荐文章于 2023-10-31 11:26:44 发布

BeforeEasy

最新推荐文章于 2023-10-31 11:26:44 发布

阅读量1.6k

点赞数

分类专栏：论文

本文链接：https://blog.csdn.net/beforeeasy/article/details/104219019

版权

论文专栏收录该内容

11 篇文章 0 订阅

订阅专栏

An Interactive Multi-Task Learning Network for End-to-End Aspect-Based Sentiment Analysis

简单来说

本文是将aspect extraction和aspect senmetiment classification整合成一个任务，然后同时用document语料进行多任务训练一部分共享参数，解决as问题数据集小的问题。

摘要

这篇文章提出了一个交互式的多任务学习网络 interactive multi-task learning network，可以同时联合学习多个相关的任务，既有token level 又有document level。不像传统多任务学习方法那样只依赖不同任务的公共特征，IMN引入一种message passing architecture，信息可以同各国一套共享的latent variables迭代的在不同的任务间传递。
实验效果很好。

介绍

常规的处理ABSA的问题是拆成两个问题，pipeline进行，也有一些联合训练的，但是那些联合训练的方法中，两个任务只是通过统一的标签联系在一起，但相互的联系并不明确。此外，还都只从方面级语料中学习，但是方面级语料库又很小，没有好好的利用其他预料的信息，比如相关的文档级情感分析语料，这些语料里又有用的情感相关的语言学知识，而且更容易得到。

这篇文章介绍了IMN，同时解决AE和AS的问题，而且更好的利用了两个任务间的联系。此外，这里AE和AS和文档级别任务一同训练，利用了更大的语料里的信息；还引入了一个比较新的消息传递机制，将有用的信息从不同的任务发送回共享的潜在表示。然后这些信息和共享的潜在表示组合起来，用于后续过程。这个过程是迭代进行的，随着迭代次数增加，信息可以在多个链接间被修改和传播。与多数多任务学习相比，IMN不仅允许共享特征，还可以通过这个消息传递机制，显式的建模任务之间的相互作用。

此外IMN还集成了两个文档级别分类任务：情感分类（DS）和领域分类（DD），和AE　AS一起训练。

proposed method

结构如图1，输入是一组tokens，到 $f_{\theta_s}$ 中提取特征。
在这里插入图片描述
就是用几层CNN在词嵌入的基础上进一步提取了特征。
这一层的输出是
在各个任务之间共享使用。这个表示后面会用从不同的任务中传播过来的信息，进行更新。
这组表示会进而用于不同任务的输入。每个任务组件有自己一套输出，是一组标签序列。在AE任务中，输出每个单词的label表示是否是方面词或情感词；在AS中，标定词的词性。在分类任务中，输出和输入实例有关，DS输出情感，DD输出domain。每次迭代中，恰当的信息会传回上面那组共享的表示。在各个组件之间也能信息传递，尤其是对这个题目而言，把信息从AE任务传递到AS。经过T次信息传递迭代后用output variables做预测。

3.1 aspect-level tasks

AE要提取所有的aspect和opinion词，用五级标记：在这里插入图片描述，AS也是序列标注问题，三级标记：，只标注aspect词。一个例子是这样的：

在AS中还有层额外的self-attention，AS层可以得到AE层的输出，这样AS任务可以多少利用AE中提取的opinion word，具体attention计算如下：
在这里插入图片描述
在公式1中，第一个因子是衡量两者相关性，第二个是距离，两个词间距离越大这一项越小，第三项表明第j项是opinion word的概率，是通过求和AE输出中BP IP标签来求的。这样，AS直接受AE影响。
在AE中，把word embedding ，初始共享表示和task specific 拼接起来作为最后的第i个token的表示。
在AS中，把共享表示及self-attention之后的表示拼接起来作为最后的表示。每个任务都有全连接层过softmax计算概率。

document-level tasks

为了解决aspect-level 训练数据不足的问题，IMN引入有情感信息的文档级别语料。引入两个文档级分类任务加入联合训练，分别是文档级情感分类和文档级领域分类。
两个都是多层CNN然后attention层然后decode层，共享表示过了CNN之后，用softmax方式计算attention，最终得到加权和的表示过全连接和softmax

message passing mechanism

为了利用不同任务之间的交互，消息传递机制汇总了上一次迭代中不同任务的预测，并用这些信息来更新这次迭代中的共享表示。
在这里插入图片描述
：表示拼接，f表示ReLu激活的全连接。a表示注意力之后的表示，与情感或领域相关度更高的词更可能成为opinion word或aspect word

learning

交替在aspect level 和document level上进行训练。在asoect-level:
在这里插入图片描述
T 是迭代的最大次数, $N_a$ 表示aspect-levle训练数据总数,ni表示第i个训练实例中的token数，y表示的是各自标签的one-hot编码，l表示cross entropy loss。只考虑aspect term。
在document-level loss中：

在训练document level时不需要用到message passing mechanism
首先用document-level数据预训练网络几轮，然后以比率r在aspect level和 document level交替训练。算法如下：
D表示训练数据
在这里插入图片描述

experiments

数据： Semeval2014 Semeval2015，以及两个document-level的数据集。
这部分主要是实验参数设置

结果分析

表3展示了结果。
在这里插入图片描述
case study的结果：

通过比对，发现document-level引入的信息是很有用的。

结论

提出一个multi-task learning network，联合训练aspect及opinion term的抽取和aspect 情感分类。提出的IMN还引入了新颖的消息传递机制，更好的利用任务间的联系。此外，还能从其他训练数据集中获得信息，从document-level数据中获得对aspect有价值的信息。这个模型也可以用在一些其他相关的任务中。