《Multi-source data fusion for aspect-level sentiment classification》论文阅读笔记

文章名：《Multi-source data fusion for aspect-level sentiment classification》

作者 Fang Chen∗, Zhigang Yuan, Yongfeng Huang

年份 2020

1.Introduction

神经网络的良好性能依赖于足够大的训练语料库。然而作为一个细粒度的情感分析任务，方面级的情感标注尤其昂贵。因此，现有的方面级语料库相对较小。由于现有的方法通常只基于领域特定的方面级语料库来训练模型，训练语料库的缺乏极大地限制了系统的性能。情绪分析系统可以从使用多域多粒度语料库的多任务学习中获益。作者提出了基于多源数据融合的体层情感分类方法。利用来自Transformers（BERT）[23]的双向编码器表示来生成方面特定的句子表示，用于方面级别的情感分类。作者设计了一个统一的框架来整合来自方面级语料库、句子级语料库和词汇级情感词汇的数据。通过多任务学习将模型应用到体层、句子层和词层的情感分类任务中。使用多域语料库训练模型，通过多源数据融合，从各种可用资源中学习更丰富、更广泛的情感知识。

2. Related work

2.1. Aspect-level sentiment classification

Fan等人提出了一种细粒度注意机制，以减轻粗粒度注意机制中的信息丢失。多粒度注意允许模型生成更好的句子和方面表示。

2.2. Multi-source data fusion

2.3. Language model pre-training

在下游任务中使用预先训练的语言模型有两种策略：基于特征的方法和微调方法。基于特征的方法从语言模型中收集单词嵌入，并在不同的下游任务中使用这些学习到的表示作为特征。相比之下，微调方法使用特定于任务的数据集直接微调预训练模型，从而消除了特定于任务的模型体系结构的需求。BERT是基于深度双向变换器的预训练语言模型。该方法使用大量的未标记语料库对两个预测任务进行预训练：the masked language model和下一个句子预测。语言模型预训练允许BERT为下游任务生成更好的上下文表示。本文BERT主要被用于句子级情感分类。

3. Our approach

3.1. Overview

首先，我们使用一种统一的形式来表示来自方面级语料库、句子级语料库和词汇级情感词汇的数据。然后，利用BERT将输入序列编码成包含语义和情感信息的向量。最后，将输出向量输入到情感分类器中进行体层、句子层或词层的情感分类。

3.2. BERT

对于令牌的输入序列{w1，w2，...,wN}，BERT首先构造标记表示{E1，E2，...,EN}通过对标记嵌入、段嵌入和位置嵌入进行求和。令牌表示随后由相同层的堆栈进行编码。每一层由一个多头自我注意子层和一个位置全连通子层组成。具体来说，