2020-10-25

Attention-based LSTM for Aspect-level Sentiment Classification 论文笔记

摘要：作者发现一个句子的情感极性不仅与上下文有关，还与特征有关，因此作者提出Attention-based Long Short-Term Memory Network for aspect-level sentiment classification。当输入的aspect不同时，注意机制可以关注在句子的不同部分。作者在SemEval 2014数据集上进行了实验，结果表明，该模型在aspect情绪分类方面达到了最好的效果。

论文的贡献：
（1）提出了attention-based Long Short-Term memory for aspect-level sentiment classification。
（2）提出两种方法在aspect信息中使用注意力机制：一种方法是将aspect向量连接到句子隐藏表示中以计算注意权重，另一种方法是将aspect向量添加到输入词向量中。

LSTM介绍：
针对RNN的梯度消失或梯度爆炸问题，研究员提出Long Short-term Memory network(LSTM)，该模型使用了三种门和一个细胞记忆状态。

计算公式：

其中，Wi,Wf,Wo ∈ Rd×2d是权重矩阵，bi, bf, bo ∈ Rd是偏置，σ是sigmoid函数，⊙表示点积，xt是输入，wt表示词向量，ht是隐藏层向量。
最后一个隐藏层向量hN作为句子的表示，分类标签是{positive, negative, neutral}。

LSTM with Aspect Embedding (AE-LSTM)：
对于不同的aspect，可能得到相反的情感极性，为了充分利用aspect信息，作者提出对每个aspect学习一个向量。vai∈ Rda是第i个aspect的向量表示，A ∈ Rda×|A|是所有aspect向量的组合。

Attention-based LSTM (AT-LSTM)：
作者提出注意力机制来捕获对应aspect的句子的关键部分，H ∈ Rd×N是包括了隐藏向量[h1, . . . , hN]的矩阵，va是aspect的向量表示，eN ∈ RN is a vector of 1s。
注意力机制会生成注意力向量α和加权的隐藏向量r。

其中va⊗eN = [v; v; . . . ; v]，
最终的句子表示是：

接着softmax层：

Attention-based LSTM with Aspect Embedding (ATAE-LSTM)：
为了充分利用aspect信息，作者将aspect向量添加到输入的词向量后，这样输出的隐藏向量(h1, h2, …, hN)包含输入aspect(va)的信息。结构如图：

模型训练：
加入正则化，AdaGrad作为优化算法，loss使用交叉熵损失函数。

λ是L2范式，θ是参数集，即{Wi, bi,Wf, bf,Wo, bo,Wc, bc,Ws, bs}

实验过程与结果：
使用Glove进行向量初始化，词向量维度300，batch size为25，momentum是0.9，L2-regularization weight是0.001，学习率0.01.
数据集：SemEval 2014 Task 4，包含用户评论，每条评论包含一系列aspect和对应的情感极性，实验目标是确定句子中对应aspect的情感极性。
Aspect-level Classification：给出预识别的aspect集，目标是判定每个aspect的情感极性。

Aspect-Term-level Classification：给出句子中的aspect集，目标是判定每个aspect的情感极性是积极、消极、中性。

总结：
作者提出attention-based LSTMs for aspect-level sentiment classification，关键在于学习aspect向量，将其加入到计算注意力权重中。面对不同aspect时，该模型能够关注句子的不同部分，这对于aspect分类更有竞争力，实验证明相比于AE-LSTM、ATAE-LSTM和基模型，该模型有最好的性能。
尽管这些方法在aspect情感分类上表现出潜力，但是不同的aspect是分开输入的。未来的工作，一个有趣且可能的方面是基于注意力机制，对多个aspect同时建模。

欢迎大家交流与指正。