本文提出了一个多粒度的注意力网络,用于解决基于aspect情感分析的问题。
以往的模型主要有两个缺点。一是采用粗粒度的注意力机制,这样当某一aspect有很多单词或文本内容较大,会造成信息损失。二是其训练aspect只与其内容相关,aspect之间不相关。
所谓的粗粒度的注意力机制指的是,对于aspect的平均向量,交互学习context word的权重;对于context的平均向量,交互学习aspect word的权重。这种思想来自于IAN,其认为在基于aspect的情感分类任务中,target和aspect应该具有交互性,即context应该是aspect-specific的,target也应该是specific-context的,具体的context互相作用于具体的target,该模型利用attention实现二者交互。
细粒度的注意力机制指的是,aspect和context的交互均是单词级的。除此之外,本文还在aspect之间学习提取信息。
模型包括Input Embedding Layer,Context Layer,Multi-grained Attention Layer,Output Layer和Model Training。
Input Embedding Layer利用CloVe将每个单词转化为word embedding。
Context Layer利用双向的LSTM分别获取context word和aspect word的隐表示: