论文: Attention-based LSTM for Aspect-level Sentiment Classification
作者: Yequan Wang and Minlie Huang
数据集: http://alt.qcri.org/semeval2014/
apsect-level: 基于不同视角对情感进行分类
一、摘要
Aspect-level的情感分类是情感分析中的一项细粒度任务。由于它提供了更完整，更深入的结果，因此近年来，aspect-level情感分析受到了很多关注。在本文中，我们揭示了句子的情感不仅由内容决定，而且与关注方面高度相关。例如，“开胃菜还可以，但是服务很慢。”，对于口味aspect，倾向为积极的，而对于服务，倾向为消极的。因此，值得探讨一个方面aspect与句子内容之间的联系。为此，我们提出了一种基于注意力的长期短期记忆网络Attention-based Long Short-Term Memory Network，用于aspect-level的情感分类。当不同aspsects被用作输入时，注意力机制可以集中于句子的不同部分。我们对SemEval 2014数据集进行了实验，结果表明我们的模型在aspect-level的情感分类上达到了最先进的SOTA性能。
情感分析（Nasukawa和Yi，2003），也被称为观点挖掘（Liu，2012），是NLP的关键任务，近年来受到了很多关注。aspect-level的情感分析是一项细粒度的任务，可以提供完整而深入的结果。在本文中，我们处理了aspect-level的情感分类，发现句子的情感倾向高度依赖于内容和aspect。例如，“Staffs are not that friendly, but the taste covers all.”的情感倾向。如果aspect是food，则为正，但考虑service 时apsect为负。考虑不同方面时，倾向可能相反。
神经网络已在各种NLP任务中实现了最先进的性能，例如机器翻译（Lample等人，2016），语义识别（Yin等人，2015），问答（Golub和He，2016） ）和文本摘要（Rush等，2015）。但是，神经网络模型仍处于起步阶段，无法处理情感层面的情感分类。在某些工作中，可以通过考虑目标信息来受益于目标相关的情感分类，例如在Target-Dependent LSTM（TD-LSTM）和Target-Connection LSTM（TC-LSTM）中（Tang等人，2015a）。但是，这些模型只能考虑目标，而不能考虑aspect信息，事实证明这对于aspect-level的分类至关重要。
注意力已成为获得优异结果的有效机制，如图像识别（Mnih等人，2014），机器翻译（Bahdanau等人，2014），蕴涵推理（Rocktäschel等人，2015）和文本摘要（Rush等人，2015）。更重要的是，神经注意力可以提高阅读理解的能力（Hermann等，2015）。在本文中，我们针对特定aspect提出了一种注意力机制，以强制模型关注句子的重要部分。我们设计了一种面向aspect的注意力机制，可以专注于给定aspect的句子的关键部分。
我们探讨了aspect-level的情感分类中aspect情感倾向的潜在相关性。为了捕获特定aspect的重要信息，我们设计了基于注意力的LSTM。我们在基准数据集（Pontiki等，2014）上评估了我们的方法，该数据集包含restaurants和laptops数据。
我们工作的主要贡献可以概括如下：
我们提出了基于注意力的长短期记忆，用于aspect水平的情感分类。当涉及到不同aspect时，这些模型能够显现出在句子的不同部分。结果表明，注意力机制是有效的。
由于aspect在此任务中起关键作用，因此我们提出了两种在注意力过程中考虑aspect信息的方法：一种方法是将aspect向量连接到句子隐藏表示中以计算注意力权重，另一种方法是另外添加aspect向量变成输入词向量。
实验结果表明，与几种基准相比，我们的方法可以提高性能，进一步的样本结果表明，注意力机制对于aspect级别的情感分类效果很好。
本文的其余部分结构如下：第2节讨论相关工作，第3节详细介绍了我们基于注意力的方法，第4节提供了广泛的实验以证明我们提议的有效性，第5节总结了这项工作，并提出了建议和未来的方向。
二、相关工作
在本节中，我们将简要回顾有关aspect级别的情感分类和用于情感分类的神经网络的相关工作。
2.1 aspect-level 的情感分类
Aspect-level 的情感分类通常被视为文字级别分类问题。正如我们前面提到的，aspect-level的情感分类是一项细粒度的分类任务。当前的大多数方法都试图检测整个句子的倾向，而与所提及的实体或aspect无关。解决这些问题的传统方法是手动设计一组功能。随着情感词典的丰富（Rao和Ravichandran，2009； Perez-Rosas等，2012； Kaji和Kitsuregawa，2007），构建了基于词典的功能以进行情感分析（Mohammad等，2013）。这些研究大多集中在使用SVM构建具有特征的情感分类器，其中包括词袋法和情感词典（Mullen和Collier，2004）。但是，结果在很大程度上取决于feature的质量。另外，特征工程是劳动密集型的。
神经网络的情感分类
由于提出了一种简单有效的学习分布式表示的方法（Mikolov等，2013），因此神经网络极大地促进了情感分析。经典模型包括递归神经网络（Socher等，2011; Dong等，2014; Qian等，2015），递归神经张量网络（Socher等，2013），递归神经网络（Mikolov等。 ，2010； Tang等人，2015b），LSTM（Hochreiter和Schmidhuber，1997）和Tree-LSTM（Tai等人，2015）目前已用于情感分析。通过利用句子的语法结构，tree-based的LSTM已被证明对于许多NLP任务非常有效。但是，这种方法可能会遇到语法解析错误，这在资源匮乏的语言中很常见。
LSTM在各种NLP任务中都取得了巨大的成功。 TD-LSTM和TC-LSTM（Tang等人，2015a）考虑了目标信息，在目标依赖的情感分类中取得了最先进的表现。 TC-LSTM通过对目标短语包含的单词向量进行平均来获得目标向量。但是，仅对目标短语的词嵌入进行平均不足以表示目标短语的语义，从而导致性能欠佳。
尽管这些方法有效，但要在细粒度aspect区分不同的情感倾向仍然是挑战。因此，我们有动力设计一个功能强大的神经网络，该网络可以充分利用aspect信息进行情感分类。
三、 Attention-based LSTM with Aspect Embedding
3.1 Long Short-term Memory (LSTM)
循环神经网络（RNN）是传统前馈神经网络的扩展。但是，标准RNN具有梯度消失或爆炸的问题。为了克服这些问题，开发了长短期记忆网络（LSTM）并取得了卓越的性能（Hochreiter和Schmidhuber，1997）。在LSTM体系结构中，有三个门和一个单元存储状态。图1说明了标准LSTM的体系结构。
通常来讲，LSTM中的每个cell可以如下计算：
其中Wi; Wf; Wo 是在训练期间要学习的LSTM的加权矩阵， bi, bf; bo是LSTM的bias，分别对输入门，遗忘门和输出门的变换进行参数化。sigma是sigmoid函数，⊙表示逐元素乘。 xt包括LSTM单元的输入，表示图1中的单词嵌入向量wt。隐藏层的向量为ht。
我们将最后一个隐藏向量hN视为句子的表示形式，并将其线性化为长度等于类标签数的向量后，将hN放入softmax层。在我们的工作中，类别标签的集合是肯定，否定，中立的。
具有aspect嵌入的LSTM（AE-LSTM）
在对给定aspect的一个句子的倾向进行分类时，aspect信息至关重要。如果考虑不同aspect，我们可能会得到相反的倾向。为了充分利用aspect信息，我们建议为每个aspect学习一个嵌入向量。
向量vai用于表示aspect i的嵌入，其中da是aspect嵌入的维数。 A由所有aspect嵌入组成。据我们所知，这是第一次提出aspect嵌入。
基于注意力的LSTM（AT-LSTM）
标准LSTM无法检测到哪个是aspect-level的情感分类的重要部分。为了解决此问题，我们建议设计一种注意力机制，以响应给定aspect来捕获句子的关键部分。图2表示基于注意力的LSTM（AT-LSTM）的体系结构。
令H为由隐藏向量[h1,,,hN]组成的LSTM产生的矩阵，其中d是隐藏层的大小，N是给定句子的长度。此外，va表示aspect的嵌入，而eN是1s的向量。注意力机制将产生注意力权重向量alpha和隐藏权重r。
其中M维度(d+da x N) alpha维度N，r维度d。 Wh Wv和w是投影参数。 alpha是由注意力权重组成的向量，r是具有给定aspect的句子的权重表示。 公式7中的运算符表示，运算符重复将v concatenate N次，其中eN是N个1s的列向量。 Wv va * en重复线性变换的va的次数与句子中单词的次数相同。
最后的句子表示形式为：
其中，hRd，Wp和Wx是在训练过程中要学习的投影参数。我们发现，如果将WxhN添加到句子的最终表示中，则效果会更好（Rocktäschel等人，2015）。
注意力机制使模型可以在考虑不同aspect时捕获句子中最重要的部分。
h*被认为是给定输入aspect的句子的特征表示。我们添加一个线性层将句子向量转换为e，e是长度等于类别编号|C|的实值向量。然后，跟随softmax层将e转换为条件概率分布。
其中Ws和bs是softmax的参数。
带有aspect嵌入的基于注意力的LSTM（ATAE-LSTM）
AE-LSTM中使用aspect信息的方式是让aspect嵌入在计算注意力权重中发挥作用。为了更好地利用aspect信息，我们将输入aspect嵌入到每个单词输入向量中。该模型的结构如图3所示。这样，输出隐藏表示（h1;h2;hN）可以具有来自输入aspect（va）的信息。因此，在接下来的计算注意力权重的步骤中，可以对单词和输入aspect之间的内部依赖关系进行建模。
模型训练
可以通过反向传播以端对端的方式训练模型，其中目标函数（损失函数）是交叉熵损失。令y为句子的目标分布，y^为预测情感分布。训练的目的是使所有句子的y和y^之间的交叉熵误差最小。
其中，i是句子的索引，j是类的索引。我们的分类是三种方式。lambda是L2正则化项, theta是参数集。
与标准LSTM相似，参数集为Wi; bi; Wf; bf; Wo; bo; Wc; bc; Ws; bs。此外，词嵌入也是参数。注意Wi, Wf,Wo,Wc的维度随不同的模型而变化。如果将aspect嵌入添加到LSTM单元的输入中，则Wi, Wf,Wo,Wc维度将相应地放大。其他参数如下所示：
AT-LSTM：将嵌入aspect嵌入A添加到参数集中。另外，Wh； Wv; Wp; Wx; w是注意力的参数。因此，AT-LSTM的附加参数集为A; Wh; Wv; Wp; Wx; w。
AE-LSTM：参数包括嵌入aspect嵌入A。 而且Wi; Wf ; Wo; Wc 将被扩展， 因为aspect向量是串联的，因此，附加参数集由A组成。
ATAE-LSTM：参数集由A; Wh; Wv; Wp; Wx; w组成。另外Wi; Wf ; Wo; Wc 维数将被扩展随着aspect向量串联。
在训练期间优化单词嵌入和aspect嵌入。单词表外单词out-of-vocabulary的百分比约为5%，并且它们用U(-kesi,kesi)随机初始化的。其中kesi=， 在我们的实验中，我们使用AdaGrad（Duchi等人，2011）作为优化方法，这提高了SGD在大规模学习任务上的鲁棒性尤其是在分布式环境中（Dean等，2012）。 AdaGrad使学习率适应参数，对不常用的参数执行较大的更新，对频繁的参数进行较小的更新。
四、实验
我们将提议的模型应用于aspect-level的情感分类。在我们的实验中，所有单词向量都由Glove初始化（Pennington等，2014）。词嵌入向量在无标签的语料库上经过预训练，该语料库的大小约为8400亿。其他参数通过从均匀分布U(-kesi,kesi)进行初始化，单词向量的维度，aspect嵌入和隐藏层的大小为300。注意力权重的长度与句子的长度相同。 我们用Theano（Bastien etl。，2012）实现我们的神经网络模型。我们对所有模型进行了训练，批次大小为25，AdaGrad的动量为，L2正则化权重为，初始学习率为。
数据集
我们对SemEval 2014 Task 42的数据集进行了实验（Pontiki等，2014）。数据集由客户评论组成。每个评论都包含aspect和相应倾向的列表。我们的目的是识别具有相应aspect的句子的aspect倾向。表1中显示了统计信息。
4.2 任务定义
aspect-level分类 给定一组预先确定的aspect，此任务是确定每个aspect的倾向。例如，给定一个句子“The restaurant was too expensive.”，有一个价格aspect的倾向为负。aspects的集合是{ food, price, service, ambience, anecdotes/miscellaneous}。在SemEval 2014 Task 4的数据集中，只有餐馆数据具有特定aspect的倾向。表2说明了比较结果。
aspect术语级别分类 Aspect-Term-level Classification 对于句子中给定的一组aspect术语，此任务是确定每个aspect术语的倾向是正，负还是中性。我们对SemEval 2014 Task 4的数据集进行实验。在restaurant和laptop数据集的句子中，每出现一个aspect项都有位置和情感倾向。例如，有一个aspect术语fajitas，其倾向在句子“I loved their fajitas”中为负。
实验结果显示在表3和表4中。类似于aspect-level的分类实验，我们的模型实现了最新的性能。
与基线方法的比较
我们将我们的模型与几个基准进行比较，包括LSTM，TD-LSTM和TC-LSTM。
LSTM：标准LSTM无法捕获句子中的任何aspect信息，因此尽管给定了不同的aspect，但它必须具有相同的情感倾向。由于无法利用aspect信息，因此该模型的性能最差。
TD-LSTM：TD-LSTM可以通过将aspect作为目标来提高情感分类器的性能。由于TD-LSTM中没有注意力机制，因此它无法“知道”哪些单词对于给定aspect很重要。
TC-LSTM：TC-LSTM通过将目标合并到句子表示中来扩展了TD-LSTM。值得注意力的是，TC-LSTM的性能比表2中的LSTM和TD-LSTM差。TC-LSTM在LSTM单元单元的输入中添加了从字向量获得的目标表示。
在我们的模型中，我们将aspect嵌入到另一个向量空间中。在训练过程中可以很好地学习aspect的嵌入向量。 ATAE-LSTM不仅解决了词向量与aspect嵌入之间不一致的缺点，而且还可以响应给定aspect捕获最重要的信息。此外，在给定不同aspect的情况下，ATAE-LSTM可以捕获句子的重要部分当给出不同的aspects。
定性分析
分析哪些词在给定的aspect决定了句子的情感倾向是很有启发性的。我们可以在公式8中获得注意力权重，并相应地可视化注意力权重。
图4显示了在给定aspect的影响下注意力如何集中于单词。
我们使用可视化工具Heml（Deng等，2014）对句子进行可视化。颜色深度表示权重在注意力向量中的重要程度，颜色越深越重要。图4中的句子是“I have to say they have one of the fastest delivery times in the city .” and “The fajita we tried was tasteless and burned and the mole sauce was way too sweet.”相应的aspect分别是service和food。显然，注意力可以动态地从整个句子中获取重要部分。在图4（a）中，“fastest delivery times”是一个多词短语，但是如果service可以作为输入aspect，我们基于注意力的模型可以检测到这些短语。此外，如果存在多个关键词，注意力可以检测到多个关键词。在图4（b）中，检测到tastless和too sweet。
案例研究
正如我们所展示的，我们的模型获得了最先进的性能。在本节中，我们将通过一些典型样本进一步展示我们模型的优势。
在图5中，我们列出了测试集中的一些样本，这些样本具有典型特征，无法通过LSTM进行推断。在句子（a）中，“The appetizers are ok, but the service is slow.”有food和service两个aspect。我们的模型可以从不同aspect区分不同的情感倾向。在（b）句中，“I highly recommend it for not just its superb cuisine, but also for its friendly owners and staff.”，有一个否定词not。我们的模型可以获得正确的倾向，不受否定词的影响。在最后一种情况（c）中，“he service, however, is a peg or two below the quality of food (horrible bartenders), and the clientele, for the most part, are rowdy, loud-mouthed commuters (this could explain the bad attitudes from the staff) getting loaded for an AC/DC concert or a Knicks game.”这句子结构冗长而复杂，因此现有的解析器可能很难获得正确的解析树。因此，基于树的神经网络模型很难正确预测倾向。然而我们基于注意力的LSTM可以借助注意力机制和aspect嵌入在这些句子中很好地工作。
五、结论与未来工作
在本文中，我们提出了基于注意力的LSTM用于aspect-level的情感分类。这些proposal的关键思想是学习aspect嵌入并让aspect参与计算注意力权重。当给出不同的aspect时，我们提出的模型可以集中在句子的不同部分，这样它们在aspect-level的分类中更具竞争力。实验表明，我们提出的模型AE-LSTM和ATAE-LSTM获得了优于基准模型的性能。
尽管这些proposals显示出了aspect-level的情感分析的潜力，但不同aspect是分别输入的。在将来的工作中，一个有趣且可能的方向是与注意力机制同时对多个aspect进行建模。
725
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
