Attention-based LSTM for Aspect-level Sentiment Classificatio
这是一篇还算经典的早期用LSTM+Attention解决细粒度情感分析的文章,2016 年发表在EMNLP 上。文章指出一个句子的情感类别是受不同aspect 的影响的,举例
来说,在句子“The appetizers are ok, but the service isslow.” 中,对于aspect appetizer 情感是正向的,但对于aspect service,情感是负向的。基于此,本文提出
了Attention-based Long Short-Term Memory Network,引入的注意力机制可以针对输入的特定aspect调整句子的注意力。
为了突出aspect 的重要性,文章设计了两种方法
一种是将aspect embedding 连接到句子的hidden state;上一起计算attention;另一种是在此基础上将aspectembedding 也作为输入的一部分。
model
标准LSTM
aspect表示:
aspect的词向量
AT-LSTM
其实就是在基本的LSTM上,在hiddenstate上添加了N遍 aspect embedding,然后再一起计算attention得分
ATAE-LSTM
如图所示,就是在上面模型的基础上,在输入部分也加入了aspect embedding,就是一直在强调aspect的重要性
训练
cross entropy加上了正则化
结果
相比传统模型还是效果很不错的