A Bi-Directional LSTM-CNN Model with Attention for Aspect-Level Text Classification

背景

属性级情感分析 (ABSA)是一项细粒度的情感分析任务，在自然语言处理里越来越受到关注，能够识别句子提及的属性以及对应的情感极性，包含两个子任务：属性识别和情感分析
例如：

“The food is not cheap but quite delicious”
实体food对应的属性：FOOD#PRICE和FOOD#TASTE

针对于人们越来越习惯在评论中使用习语，常会出现错误识别的情况,例如以下情况：

“it is the service that leaves a bad taste in my mouth”
注意力机制能够识别出属性 “service”，然而没有注意力模型时，taste可能会被认为实体

贡献

1.提出融合注意力机制和属性信息的AARCNN模型。
2.注意力和属性是ABSA任务中必要的部分，因此介绍了两个模块：基于 CNN的注意力机制来抽取注意力和属性词权重embedding识别属性和分析。
3.实验结果表明该方法相比较几个 baseline方法，达到了最好的效果，并且进一步证明了 Bi-LSTM 提升了分类的准确率。

模型

1 Input Preprocess

首先需要将评论的句子进行格式化，假设句子是由n个单词序列组成，每个单词通过词向量被转化成实值向量：

2 Memory Module

将经过第一步词向量处理的词系列输入到Bi-LSTM当中，此处用Bi-LSTM的原因是

the spot is perfect and the perfect spot 需要考虑词序影响单词之间的依赖，因此用Bi-LSTM代替LSTM

当前时刻可以通过下式计算：

将两个方向的隐藏层进行拼接：