7Aspect Specific Sentiment Analysis using HierarchicalDeep Learning（2020.10.22）

Aspect Specific Sentiment Analysis using HierarchicalDeep Learning

基于分层深度学习的特定aspect情感分析

Abstract

• The goal here is to not only extract aspects of a product or service, but also to identify specific sentiments being expressed about them.
  此处的目标不仅是提取产品或服务的各个aspect，而且要确定所表达的特定情感。
• Most existing algorithms address this problem by treating aspect extraction and sentiment analysis as separate phases or by enforcing explicit modeling assumptions on how these two phases should overlap and interact.
  大多数现有的算法通过将特征提取和情感分析作为单独的阶段来解决这个问题，或者通过强制实施关于这两个阶段应该如何重叠和交互的显式建模假设来解决这个问题。
• In this paper, we propose a novel approach based on a hierarchical deep learning framework which overcomes the aforementioned drawbacks.
  在本文中，我们提出了一种基于分层深度学习框架的新颖方法，该方法克服了上述缺点。
• We experiment with various models of semantic
  compositionality within this framework. Experimental results on real world datasets show that the proposed framework outperforms other state-of-the-art techniques.
  我们在这个框架内试验了各种语义组合性模型。 在真实数据集上的实验结果表明，该框架的性能优于其他最先进的技术。
• In addition, we also demonstrate how domain adaptation using word vectors can benefit the task of aspect specific sentiment analysis.
  此外，我们还演示了使用词向量的领域自适应如何有助于特定aspect的情感分析任务。

一、Introduction

二、Related Work

• Aspect specific sentiment analysis
• Models of semantic compositionality、

三、 Our Approach

The basic idea behind our approach is to learn representations for words (word vectors and matrices)which can explain the aspect-sentiment labels at the phrase level.
我们的方法背后的基本思想是学习单词的表示(词向量和矩阵)，这可以在短语级别上解释aspect-sentiment标签。
In order to solve this problem, we propose a hierarchical deep learning framework which comprises of dealing with feature representations corresponding to the words and subsequent parses of the phrases and sentences.
为了解决这一问题，我们提出了一种’分层深度学习框架’，该框架包括处理与词相对应的特征表示以及随后对短语和句子的’分析’。
We further leverage this objective function to come up with multiple formulations to solve the problem. We discuss each of these steps in greater detail below.
我们进一步利用这个目标函数来提出多个公式来解决这个问题。 下面我们将更详细地讨论这些步骤中的每一个。
Problem Definition:Given a set of sentencesL={l1,l2,l3…}, identify aspect - sentiment pairs{(a1i,s1i),(a2i,s2i)…}present in each sentenceli.
问题定义：给定一组句子L = {l1，l2，l3 …}，识别每个句子li中存在的aspect-sentiment对{（a¹i，s¹i），（a²i，s²i）…}。

• 3.1 Compositional feature representations
  -3.1.1 Recursive Neural Network (RNN)
  -3.1.2 Matrix-Vector RNN (MV-RNN)
  -3.1.3 Recursive Neural Tensor Network (RNTN)
• 3.2 Objective Function
• 3.3 Formulations
  -Separate Aspect Sentiment Model (SAS)独立方面情感模型（SAS）
  -Joint Multi-Aspect Sentiment Model (JMAS)联合多方面情感模型（JMAS）
  为了克服SAS的缺陷，设计出了JMAS，提出了在深度学习的背景下，将方面和情感检测问题归结为一个多类的softmax分类问题
• 3.4 Training

1. To illustrate, let us consider the following text snippet“The beer is very tasty”. This snippet is associated with the aspect taste and a positive sentiment. (taste, positive) would be the class label at the root (in JMAS formulation).
   为了说明这一点，让我们考虑以下文本片段“啤酒非常好吃”。 此代码段与方面的口味和积极的情感有关。 （口味，阳性）将是根部的类别标签（在JMAS公式中）。
2. in the case of SAS formulation, the class labels at the roots would be taste and positive respectively.
   在SAS的情况下，根部的类别标签将分别是taste标签和positive标签。
3. Now, let us consider the constituents of this snippet “The beer” and “very tasty”. It would be incorrect if we force the labels at the nodes corresponding to both these snippets to (taste, positive).
   现在，让我们考虑一下这个片段的成分“beer”和“taste good”。 如果我们强制将与这两个片段对应的节点处的标签强制为(taste，positive)，这将是不正确的。
4. This is because the phrase “The beer“ does not say anything about either the taste or the positive sentiment. This problem can be eliminated if various constituent phrases and words are annotated with appropriate aspect-sentiment pairs.
   这是因为“beer”一词既没有说明味道，也没有说明积极的情绪。 如果用适当的aspect-sentiment对标注各种构成短语和单词，就可以消除这个问题。
5. However, annotations at such fine granularities are typically not available in most real world data.
   但是，这种细粒度的注记通常在大多数现实世界数据中不可用。
6. In order to deal with this problem, we use the strategy of propagating the softmax errors from the root only to the initial few levels of the tree.
   为了解决这个问题，我们使用了只将Softmax错误从树根传播到树的初始几个级别的策略。
7. Experimentation revealed that propagating these errors to the initial levels of the parse tree is alleviating the vanishing gradient problem and at the same time, this is not restricting the finer grained constituents of the parse trees to conform to the class labels at the root.We are using the heuristic log2N where N is the number of the levels in the parse tree to determine the number of levels (closer to the root) to which the softmax errors must be propagated. This heuristic worked very well in practice.
   实验表明，将这些错误传播到语法分析树的初始级别可以缓解消失的梯度问题，与此同时，这并不限制语法分析树的更细粒度的成分符合根目录下的类标签。我们使用启发式log2N，其中N是解析树中的级别数，以确定Softmax错误必须传播到的级别数(更接近根)。 这种启发式方法在实践中效果很好。

四、 Experimental Evaluation

在本节中，我们将详细讨论为评估提议的框架而进行的实验。我们先对数据集进行详细描述，然后再对基线进行讨论。然后，我们描述了定量分析，其中我们展示了我们的模型和促进领域适应的实验的结果。最后，我们通过讨论定性分析来结束本节，在定性分析中我们分析了几种基于案例的方案。

-Initialization and Pretraining
-Dataset Description
我们使用了两个不同的数据集进行实验评估：beer评论2和camera评论3。 这些数据集的详细信息如下：

在这两个数据集中，情绪表达的等级从1(高度消极)到5(高度积极)。

-Baselines
为了评估该方法的有效性，我们将其与文献[8]中提出的FACTS(基于FACeT和情感提取模型)和CFACTS(基于一致性的FACeT和情感提取模型)模型进行了比较。FACTS是一种生成方法，可捕获潜在的方面和相关的情感。 这种方法将单词分为各种句法类别，并将特定的句法类别与方面相关联，并将另一句法类别与情感相关联。该模型表示那些依赖于语法假设来发现方面和情感的方法类别。请注意，此方法通过其生成过程封装了方面和情感之间的弱耦合概念。另一方面，CFACTS通过其建模假设加强了方面和情感提取阶段之间的相关性。此外，我们还比较了针对以词的tf-idf向量为特征的多类支SVM和朴素贝叶斯分类器的方法。

- 4.1 Quantitative Analysis 定量分析
-4.1.1 Single Aspect-Sentiment Pair Detection 单方面-情感对检测

Discussion: 从表1和表2中可以看出，RNTN和MV-RNN表示在所有维度上的表现均优于RNN表示和其他基线。 这表明，组成短语的特征表示的简单串联效果不及允许组成部分之间复杂交互的表示。
而且，JMAS公式的性能优于SAS公式，后者涉及独立的方面提取和情感检测阶段。 这表明方面和情感的联合建模的概念确实是有益的。
此外，基线CFACTS和FACTS模型的性能比SAS模型稍差，这主要是由于方面和情感不符合标准的那些数据点所致 特定的句法类别。
实际上，有趣的是，与基线FACTS模型相比，SVM（具有tf-idf功能）执行方面检测的效果更好。 这表明在我们正在处理的数据的情况下，将方面和情感与特定的句法类别相关联可能会过于受限，其中方面单词和情感单词之间的边界模糊并且情感更微妙。
-4.1.2 Multiple Aspect-Sentiment Pairs Detection 多方面-情感对检测
在这种情况下，我们放宽了一个假设，即每个文本片段应与一个单一的方面情感对关联。 在啤酒评论语料库中，有117个句子具有多个方面。在相机评论数据集中，有188个句子具有多个方面情感标签。 在实验的这一部分中，我们也使用类标签“空”来说明缺少方面或情感标签。 仅使用具有多个方面-情感标签的那些句子进行10倍交叉验证。 此外，训练集还包含所有具有单一方面的句子-情感标签。 但是，测试集仅包含具有多个方面的句子-情感标签。 结果显示在表1和2的第5-7列中。可以看出，这些列中对应于SAS公式的条目为空。 这是因为SAS是针对单个方面情感标签分类量身定制的。
‘Discussion：’表1和表2的第5-7列显示RNTN和MV-RNN表示始终优于RNN表示和基线。 这表明RNN表示不能很好地捕获句子的各个组成部分之间的交互。 有趣的是，注意到RNN模型的性能比基线差
-4.1.3 Domain adaptation using word vectors 使用词向量的域自适应
我们分析的另一个有趣方面是使用从其他相关数据集中获得的词向量作为促进域适应的手段。 我们通过将单词向量初始化为从相机数据集的JMAS + RNTN模型获得的单词向量，反过来对啤酒数据集的模型JMAS + RNTN进行训练。 这导致啤酒评论和相机评论数据集中的情感检测分别提高了3.01％和1.67％。 此外，特定于方面的情感检测的准确性分别提高了0.87％和0.83％。 由于啤酒和相机的领域在各个方面并没有太大关系，因此我们发现，情感检测的改进并未转化为整体任务准确性的提高。

- 4.2 Qualitative Analysis 定性分析
-Joint modeling
如导言所述，在特定方面的情感分析过程中，方面和情感的联合建模非常重要。 我们观察到了语料库中的几种立场，其中显然情感词取决于所考虑的方面。 同样，似乎某些情感词的出现也自动增强了相关方面的存在。 在我们正在处理的所有方法及其消融方法中，JMAS具体实施了将方面提取和情感分析的各个阶段耦合在一起的概念，而没有明确限制这些阶段之间的交互。 另一方面，SAS没有捕获耦合的概念。 在这里，我们研究了一些来自数据及其基本事实标签的示例句子。 然后，我们讨论各种方法如何处理这些示例：
SAS没有JMAS表现好，原因是SAS没有像JMAS一样考虑到根据aspect来找词性POS。就比如：当“高”一词出现在“可饮用性”旁边时，它是肯定的。 另一方面，当它出现在“碳化水平”旁边时，它为负。 同样，“高”一词在描述相机的“显示质量”时传达了积极的情绪。SAS模型无法很好地捕捉到这种细微差别，每当出现“情感”取决于所讨论方面的单词（例如“高”）时，看到对情感类别的某种随机分配就很有趣。另一方面，JMAS公式以很高的概率正确地捕捉到了这些情况。
-Multiple aspect - sentiment capture
我们在引言中讨论了一个示例，该示例清楚地强调了文本片段中存在多个方面-情感对。 在这里，我们再介绍几个这样的示例（及其基本事实标签），并讨论这些方法对这些示例的处理情况。

JMAS公式正确地识别了这些情况下的所有方面-情感对。 SAS公式不是为处理多个方面而设计的。 然而，它可以正确地预测第三个例子的一个方面-情感对(显示，积极)。 在第一个和第三个例子的情况下，SAS的预测是不正确的。
-Relaxing modeling assumptions on interactions between aspects and sentiments 放松对方面和情绪之间相互作用的建模假设
JMAS公式简化了联合建模，而无需明确执行关于方面和情感应如何交互的建模假设。 我们观察到，这对于特定方面的情感分析至关重要。 例如，有诸如“tasty美味”之类的词既代表了方面，又代表了情感。 但是，许多最新方法（包括基线）都假设方面词通常是名词，而情感词是形容词。下面我们从数据集中提供一些示例以及它们的基本事实标签。

对于以上所有三个示例，我们所有的公式都导致对方面-情感对的正确预测。 在这三种情况下，CFACTS和FACTS基准均未成功

五、 Conclusion

• In this work, we attempted to bridge the gap between the literature on semantic compositionality and aspect-specific sentiment analysis.
  在这项工作中，我们试图弥合语义组成与特定方面情感分析之间的差距。
• The framework we proposed encapsulates several important modeling decisions, such as joint modeling of aspects and sentiments, the ability to handle the presence of multiple aspects and associated sentiments in a given piece of text, and not making strict modeling assumptions about interleaving aspect and sentiment extraction.
  我们提出的框架封装了几个重要的建模决策，例如方面和情感的联合建模，处理给定文本中多个方面和相关情感的存在的能力，并且不对交织方面和情感提取做出严格的建模假设 。
• The evaluation that we carried out on real-world data demonstrated that our approaches incorporating sophisticated neural semantic composition functions consistently outperform other state-of-the-art techniques, with subsequent qualitative analysis confirming the need for various model elements.
  我们在真实世界数据上进行的评估表明，我们的方法结合了复杂的神经语义合成功能，始终优于其他最先进的技术，随后的定性分析证实了对各种模型元素的需求。