Attention-based LSTM for Aspect-level Sentiment Classification 论文笔记
摘要:作者发现一个句子的情感极性不仅与上下文有关,还与特征有关,因此作者提出Attention-based Long Short-Term Memory Network for aspect-level sentiment classification。当输入的aspect不同时,注意机制可以关注在句子的不同部分。作者在SemEval 2014数据集上进行了实验,结果表明,该模型在aspect情绪分类方面达到了最好的效果。
论文的贡献:
(1)提出了attention-based Long Short-Term memory for aspect-level sentiment classification。
(2)提出两种方法在aspect信息中使用注意力机制:一种方法是将aspect向量连接到句子隐藏表示中以计算注意权重,另一种方法是将aspect向量添加到输入词向量中。
LSTM介绍:
针对RNN的梯度消失或梯度爆炸问题,研究员提出Long Short-term Memory network(LSTM),该模型使用了三种门和一个细胞记忆状态。
计算公式:
其中,Wi,Wf,Wo ∈ Rd×2d是权重矩阵,bi, bf, bo ∈ Rd是偏置,σ是sigmoid函数,⊙表示点积,xt是输入,wt表示词向量,ht是隐藏层向量。
最后一个隐藏层向量hN作为句子的表示,分类标签是{positive, negative, neutral}。
LSTM with Aspect Embedding (AE-LSTM):
对于不同的aspect,可能得到相反的情感极性,为了充分利用aspect信息,作者提出对每个aspect学习一个向量。vai∈ Rda是第i个aspect的向量表示,A ∈ Rda×|A|是所有aspect向量的组合。
Attention-based LSTM (AT-LSTM):
作者提出注意力机制来捕获对应aspect的句子的关键部分,H ∈ Rd×N是包括了隐藏向量[h1, . . . , hN]的矩阵,va是aspect的向量表示,eN ∈ RN is a vector of 1s。
注意力机制会生成注意力向量α和加权的隐藏向量r。
其中va⊗eN = [v; v; . . . ; v],
最终的句子表示是:
接着softmax层:
Attention-based LSTM with Aspect Embedding (ATAE-LSTM):
为了充分利用aspect信息,作者将aspect向量添加到输入的词向量后,这样输出的隐藏向量(h1, h2, …, hN)包含输入aspect(va)的信息。结构如图:
模型训练:
加入正则化,AdaGrad作为优化算法,loss使用交叉熵损失函数。
λ是L2范式,θ是参数集,即{Wi, bi,Wf, bf,Wo, bo,Wc, bc,Ws, bs}
实验过程与结果:
使用Glove进行向量初始化,词向量维度300,batch size为25,momentum是0.9,L2-regularization weight是0.001,学习率0.01.
数据集:SemEval 2014 Task 4,包含用户评论,每条评论包含一系列aspect和对应的情感极性,实验目标是确定句子中对应aspect的情感极性。
Aspect-level Classification:给出预识别的aspect集,目标是判定每个aspect的情感极性。
Aspect-Term-level Classification:给出句子中的aspect集,目标是判定每个aspect的情感极性是积极、消极、中性。
总结:
作者提出attention-based LSTMs for aspect-level sentiment classification,关键在于学习aspect向量,将其加入到计算注意力权重中。面对不同aspect时,该模型能够关注句子的不同部分,这对于aspect分类更有竞争力,实验证明相比于AE-LSTM、ATAE-LSTM和基模型,该模型有最好的性能。
尽管这些方法在aspect情感分类上表现出潜力,但是不同的aspect是分开输入的。未来的工作,一个有趣且可能的方面是基于注意力机制,对多个aspect同时建模。
欢迎大家交流与指正。