基于深度学习的文本情感原因提取研究综述——论文阅读

前言

        既然要学习情感分析，那么肯定还要了解情感原因对抽取的发展历程，所以我又搜了一篇研究综述，虽然是2023年发表的，但是里面提及到的历程仅停留到2022年。这篇综述发布在TASLP期刊，是音频、声学、语言信号处理的顶级期刊，属于CCF-B类的期刊。

        论文地址：Recent Trends in Deep Learning Based Textual Emotion Cause Extraction | IEEE Journals & Magazine | IEEE Xplore

---

 摘要

        情感原因提取字段（ECEF）主要关注在文档中触发情感的原因。

• 传统的ECEF旨在基于给定的情感提取原因；【单向：情感—>原因】
• 最近的ECEF更侧重于提取情感及其相应的原因。【双向：情感<—>原因】

        由于深度学习技术的重大发展，尤其是机器阅读理解和基于神经网络的信息检索，ECEF引起了广泛关注。然而，缺乏对ECEF现有方法和最近趋势的全面审查。

        本文作者提出了一个全面的调查，总结现有的ECEF方法，包括以下三个方面：

• 情感原因提取（ECE）
• 情感原因对提取（ECPE）
• 会话情感原因提取字段（CECEF）

        在本篇综述中，作者还详细介绍了广泛使用的公共数据集，并讨论了现有方法在ECEF中的局限性和前景。

1 介绍

        随着以计算机为媒介的交流方式的发展，人们广泛地通过电子邮件、信使、网络博客等应用程序来分享情感信息。在这样的背景下，从互联网上的大规模语料库中进行文本情感分析已成为自然语言处理（NLP）领域的研究热点。

        早期的情感分析研究主要集中在对给定有限情感类型的句子或文档进行情感检测和分类。然而在现实应用中，人们更加关注对结果、体验者、原因等深层情感信息的研究。许多应用关注于情绪的刺激或原因，如经济预测、舆论挖掘、消费者评论挖掘等。

        情感原因提取（ECE）在2010年首次提出。根据Talmy的观点，情绪的起因应该是事件本身。ECE的目标是提取相应的原因事件，这些事件指的是明确表达的论点或事件，这些论点或事件唤起了相应的情绪。这在情感分析中是一项具有挑战性的任务，因为它需要深入的文本理解和进一步的推理。同时，ECE也可以看作是溯因推理在自然语言处理中的一种应用。

        图1是ECE的一个示例。在该示例中，文档总共有10个子句，并且第10个子句被注释为具有关键字“excited”的情感子句。第9个子句是带有原因事件的原因子句。所以因果关系是“(Because he is) preparing to propose to Huang, Huang is very excited”，该系统应该基于文档和给定的情感信息来预测第9子句为原因子句。图1中的示例是一个子句级任务，其中文档用情感信息进行了注释。如果情感子句没有给出，而目标是提取情感和相应的原因子句，则这是一个ECPE任务。对于ECE和ECPE，如果目标是提取情感和原因的准确文本跨度，则变体为跨度级ECE和跨度级ECPE。

        ECE是一个在文档中抽取引起某种情感表达的原因从句的任务。对于所注释的情感信息，只有明确的情感标记可以标记情感从句，例如，在从句“The couple is excited”中的“excited”。如果分句是“The desk is dirty”，我们就不把它包括在情感分句集中，因为没有明确的情感表征，即使分句表达了消极的情感倾向。对于原因子句来说，它不一定指的是情绪的实际原因。相反，它指的是情绪的直接原因。事实上，原因事件不一定是一个子句，也可以是一个文本范围。为了清晰和方便起见，我们将其划分为不同层次的ECEF任务，后者被称为“跨层次情感原因抽取”。在情绪与原因的关系上，一种情绪可以有多种原因，一个原因事件也可以激发多种情绪。 

        近年来，情感原因提取领域（ECEF）由于以下原因受到了越来越多的关注。

• 首先，NLP和深度学习的研究者数量在不断增加。

        作为NLP的一个热门话题，ECEF正因为船舶的"随潮而升“而受到越来越多的关注。我们在“Web of Science”上搜索了年度NLP论文（主题为“自然语言处理”，从2010年到2022年11月），并在图2中总结了统计数据。NLP出版物数量的不断增加表明了该领域的繁荣。

• 第二，对ECEF的关注度的提高与整个NLP领域的趋势并不完全一致，如图3所示。

        2016年是ECEF的第一个主要增长点，而NLP的出版数量在这一年有所下降，如图2所示。2016年，ECE正式被定义为子句级任务。发布了第一个公共数据集，并制定了共同的评价标准。从那时起，这一任务受到了更多的关注。因此，ECEF的研究兴趣日益增加，不仅是因为NLP的受众不断增加，也是因为该课题的研究重要性。

• 第三，如图3所示，随着2019年ECPE的出现，ECEF经历第二大增长点。

        ECPE是ECE的主要变体，它突破了传统的情感标注方法的局限性，在现实场景中有着广泛的应用。关注情绪信息的研究者继续关注细粒度的情绪原因，因为了解情绪原因与了解情绪本身同样重要。例如，COVID-19长期以来影响着人们，从事舆情挖掘的研究人员不仅关注公众情绪的分布，还希望挖掘人们对相关政策法规的正面和负面意见的成因。  

         总的来说，ECEF的研究过程是对文本理解的逐步深化。开发过程及其主要区别见图3和表1。主要是以下三种：

• 基于规则的方法
• 基于机器学习的方法
• 基于深度神经网络的方法

        2010年至2015年，在早期研究中，基于规则的方法得到了广泛的应用并取得了进展。2010年，ECE被提议提取导致文本中给定情绪的原因事件。Lee等人注释了一个小规模的情感原因语料库，并识别了六组有助于情感原因检测的语言线索，它们是使役动词、感知动词、认知标记、介词、连词和其他。基于各种语言学规则，许多基于规则的系统被提出，并且还被扩展到非正式文本，例如微博。除了人工设计规则外，基于常识的方法创建了有效的常识知识和自动归纳的规则。此外，随后还探索了用于自动规则获取的bootstrap方法。

        基于规则的方法实现简单，但对于不同的文本和语言，基于规则的方法需要重新构建相应的规则，适用性和灵活性较差。性能很大程度上取决于所设计的规则和注释语料库的大小。研究人员开始分析文档中句子的句法信息，以支持情感原因的提取。提出了不需要大量规则的基于特征的机器学习方法。基于特征的系统概括和扩展了语言规则。从2014年到2017年，机器学习算法如SVM和CRF被用于ECE。它被定义为序列标记、多标记分类或事件提取问题。2016年，Gui等人发布了首个基于新浪都市报的公众中文情感原因语料库，该语料库已广泛应用于ECE研究。他们将ECE重新定义为子句级分类问题，并提出了一种多核SVM方法。

        与以往的基于规则的方法相比，机器学习方法取得了更好的性能，同时更有利于考虑情感描述和句子其余部分之间的语义信息。尽管机器学习方法促进了ECEF的发展，但基于特征的系统获取的语义信息也是有限的。随着深度神经网络和注意力机制的明显成功，深度神经网络被应用到了ECEF中。与机器学习方法相比，深度神经网络能够捕捉更多的语义信息，获得更深层次的特征表示。相应地，基于深度神经网络的模型在ECEF上的表现要好于基于机器学习方法的模型。2017年至今，深度神经网络方法成为主流，带来了ECEF更快的发展。在此期间发表了大量的文章和论文，如图3所示。Cheng等人提出了一种基于中文微博的多用户结构化语料库，并利用长短期记忆(LSTM)进行特征提取。Gui等人从问答的角度利用深度记忆神经网络模型。

        基于深度神经网络的ECEF方法也在不断发展。2018年前，情感词被用作唯一的情感信息。Li等人明确了不能只考虑情感词，而应该考虑包含情感词及其上下文的整个情感子句，因为整个子句更适合于文档级的情感分析，而上下文也可以提供重要的情感信息。还有，Li等人应用注意力矩阵对每个候选原因子句和情感子句的相互影响进行建模。出自Yu等人的研究引入了一个层次网络，并声称子句之间的关系可能更有用，因为对情感子句和单个候选原因子句之间的情感原因关系进行建模可能不那么有效。从那时起，各种分层网络和注意机制被广泛应用于捕获多粒度和多层次的信息。将外部知识融入到任务中，如情感词的同义词和常识知识，也是一种辅助手段。最近，Berthas的预训练语言模型被引入文本编码器，这也是一种融合外部知识的方法。从文献中可以清楚地看出，更深的神经网络可以产生更好的结果。此外，为了获得逼真的场景和准确度，本文还从情感原因对提取、原因跨度提取、原因关键词提取等方面进行了改进。

        本文重点研究了基于深度神经网络的方法。

• 第2节聚焦于ECE，这是一项传统的子句级ECEF任务，包括技术架构以及技术开发。
• 第3节介绍了ECPE的变体，包括ECPE、ECPE和ECPE的跨度任务，以及会话情绪原因提取领域。
• 第4节介绍了可用的数据集，并展示了模型在中国常用的欧洲经委会和ECPE数据集上的性能。
• 最后，第5节是展望，它分析了实地面临的挑战和需要解决的问题。 

2 ECE的技术架构

         图4展示了ECE的技术架构，其中输入是包括情感事件的文档。它包含几个子句，并使用情感子句进行注释（包含情感关键字的子句是情感子句）。对于由具有注释的情感信息的n个子句组成的每个文档D，ECE系统需要读取并收集跨文本的信息，然后检测该情感的原因。为了利用现有数据并处理原因提取的极端复杂性，研究人员可以使用对比学习并生成新的对比样本来学习更好的语义表示空间。表2是符号表。该技术架构主要包括子句内编码器、子句间编码器和输出模块。

 2.1 子句内编码器

         自然语言的原始语料是一组符号，系统不能直接处理符号。因此，将单词或句子映射到向量中是很重要的。子句内编码器将原始文本嵌入到向量空间中，并对子句中的每个单词进行编码。该编码器是分层网络架构的较低层。它用于获取文档的表示并捕获每个子句中的信息。为了便于区分子句内编码器和子句间编码器，我们将所有不出现在文档的多子句中的编码器分类为前一类，例如仅对情感子句和每个其他子句联合编码的编码器。子句内编码器包含两个主要组件：

• 词嵌入：单词嵌入使用word2Vec等嵌入方法来嵌入原始文本；
• 词感知编码：单词感知编码主要使用深度神经网络来捕获每个子句中的信息。

子句内编码过程也可以一步完成，例如BERT的大型预训练语言模型可以一起实现嵌入和编码。

2.1.1 Word Embedding-词嵌入

        ECE的第一步是词嵌入，将文本嵌入到向量中。对于由m个单词组成的每个输入子句ci，每个单词将被映射到一个维度嵌入。根据它整合的信息，词嵌入可以分为：

• 与情感无关的嵌入
• 与情感相关的嵌入

        与情感无关的嵌入主要包括随机初始化和通用的预训练嵌入方法，如Word2Vec，Glove等。它们将单词映射到向量空间中，而不将任何情感信息嵌入到单词向量中。为了注入更多的辅助信息，Diao等人采用了多粒度嵌入，包括单词嵌入，字符嵌入，类别嵌入等。

        由于与情感无关的嵌入不能完全整合情感信息，研究者倾向于将更具体甚至是外部的情感信息嵌入到词向量中。这是与情感相关的嵌入。词嵌入模型可以用情感信息训练，有三种基本方法：

• 将外部情感知识或无监督语料库联合应用于嵌入训练，例如情感词的同义词；
• 用外部情感知识微调预训练的词嵌入模型；
• 微调预训练的语言模型。

        对于第三类，主要使用BERT的预训练语言模型，并且预训练语言模型使用包含外部情感信息的大型语料库进行训练。有些模型将微调BERT的输出视为每个子句的最终表示。然而，研究人员更喜欢将BERT编码的表示作为其他模块的输入，以捕获更多的特征，例如子句间特征。为了更好地使用文本上下文信息，对预训练语言模型编码器的新尝试还包括XLNet，它反映了