【文献阅读】Microblog sentiment analysis via embedding social contexts into an attentive LSTM

Yang J, Zou X, Zhang W, et al. Microblog sentiment analysis via embedding social contexts into an attentive LSTM[J]. Engineering Applications of Artificial Intelligence, 2021, 97: 104048.

Abstract

传统的微博情感分析方法往往假设微博是独立同分布的，忽略了微博是网络数据这一事实
这些方法是基于内容的方法，因为它们不能在预测阶段使用社会背景信息。

使用深度学习方法来充分捕捉微博关系的特征，包括隐式和显式关系，并利用这些特征来提升微博情感分析结果。

我们首先构建了一个图，该图对受情感一致性和情感传染理论启发的微博之间的关系进行建模。然后我们嵌入微博图，得到每个微博社交上下文的连续向量表示。之后，我们提出了一种新的神经网络，将社会背景知识与文本信息相结合。为了处理不同单词对分类结果的贡献不同的问题，我们在模型中引入了注意力机制。我们对三个公开发布的数据集进行了实验。实验结果表明，我们提出的模型可以始终如一且显着地优于最先进的方法。

Introduction

微博是一种社交媒体。除了文字信息，微博平台还经常提供关系等丰富的元数据。也就是说，微博数据是网络化的。
由于这个事实，仅使用文本内容作为特征是不足以进行微博情感分析的。

该方法使用深度学习方法来捕捉微博的潜在和显式社交上下文特征，并构建一个神经网络来整合单词特征和社交上下文特征。
然后受词嵌入的启发，我们通过深度学习方法将每个微博的社交上下文嵌入到一个连续分布的向量中。

主要贡献

1. 利用深度学习方法来捕捉社会背景的特征。 与传统方法相比，该方法可以准确、全面地表示社会语境。
2. 提出了一种融合社交上下文特征和文本特征的微博情感分析方法。

Related work

微博情感分析

Kiritchenko 等人建立了一个新的情感词典。 （2014）。它探索了单词和表情符号之间的情感关系，并用于提取特征。
Kiritchenko, S., Zhu, X., Mohammad, S.M., 2014. Sentiment analysis of short informal texts. J. Artif. Intell. Res. 50, 723–762.

深度学习应用于情感分析

CNN、RNN的成果

model

模型结构

1. 输入：词嵌入 wi 和 微博s 的社交上下文嵌入 v 的串联是序列编码器的输入
   标准的 LSTM 无法检测微博情感分类的重要部分。为了解决这个问题，我们建议设计一种注意力机制，可以捕获句子的关键部分以响应给定的微博。
2. 注意力机制：相似的微博往往具有相同的表达模式，因此我们在注意力层之前将隐藏层与社交上下文嵌入连接起来。注意力机制允许模型为不同的微博捕获句子中最重要的部分。
3. 全连接层：接下来是一个完全连接的密集层。
4. softmax 层：用于将句子向量映射到输出标签。

word embedding ：${\omega }_i$
社交 embedding：$v_i$
隐藏层输出：$h_i$

关于Attention

标准的 LSTM 无法检测情感分类的重要部分。实际上，每个词对最终情感标签的贡献都不同。
例如，在微博“Sigh！今晚我希望更多！”，“叹息”这个词暗示了一种强烈的负面情绪，在对这句话进行分类时，它应该比其他词更重要。
为了解决这个问题，我们建议设计一种可以捕获微博关键部分的注意力机制。

考虑到这些信息，我们将隐藏层输出和社交上下文嵌入连接起来，因此社交上下文信息可以在捕获情绪显着部分时发挥作用

包含LSTM公式+Attention公式