《Attention and Lexicon Regularized LSTM for Aspect-based Sentiment Analysis》阅读笔记

摘要：端到端的深度神经网络不能很容易地适应一些明显的问题，比如说，训练数据量少。注意力机制很可能过度关注句子的某一部分，无法适用性的改变注意力机制。本文加入词典信息使得模型更加鲁棒和灵活，同时研究了正则化注意力向量的作用。

 

intrduction: 提出一个结合词典信息和注意力机制的LSTM的模型用来进行aspect 情感分类

methodology

attention-lstm 通过学习注意力向量将aspect的embedding考虑进来，将hidden state 和aspect embedding拼接作为输入，然后利用交叉熵损失函数

词典构建是将多个词典合成一个

注意力正则化

注意力过度集中在某个地方，意味着注意力过拟合了，则采取注意力正则化的方式，其实是在损失函数后面加上偏差