《targeted-ABSA via Embedding Commonsense Knowledge into an Attentive LSTM》阅读笔记

论文：《Targeted Aspect-Based Sentiment Analysis via Embedding Commonsense Knowledge into an Attentive LSTM》(AAAI2018)
论文链接：https://www.aaai.org/ocs/index.php/AAAI/AAAI18/paper/viewPDFInterstitial/16541/16152

文章首先对以往的基于方面的情感分析方法进行了一个简单回顾，提出了存在的几个问题：
（1）现有的研究都是把多个目标向量取平均值，没有区分其中的重要性
（2）多级注意力机制对于推断出与给定目标和方面相关的程度的过程是一个黑箱(无法掌控其获取的信息程度)
（3）当前许多研究都是全局注意力机制，可能会获取到与任务无关的信息
针对以上问题作者提出了三点创新：
（1）首先提出了一种多层注意力机制，首先是计算各个目标的权重，再是对于整个句子不同词语的权重
（2）扩展了经典LSTM，考虑了与外部知识的集成
（3）将情感常识知识融入深度神经模型
相关工作
（1）介绍了基于方面的情感分析(ABSA)，基于目标的情感分析(target-SA)，与基于目标的关于方面的情感分析(target-ABSA)技术研究
ABSA：分析整个每个方面的情感极性，其最大的挑战是如何表征出与该方面有关的信息
target-SA：分析给定目标实体的情感极性，所以需要有针对性的进行分析，将目标向量有效融入分析获取相关信息
target-ABSA：目前有两个基线系统，分别是基于特征的逻辑回归模型和基于LSTM的模型
（2）融入外部知识
使用外部知识来生成hidden output并控制信息流。

方法

1. 首先本文的神经网络架构如下。
   

其主要由两个组件构成，分别是序列编码器(LSTM)和多级注意力机制。
对于给定一个句子s = {w1,w2,⋯,wL}，首先将输入单词转换成嵌入向量{vw1,vw2,⋯,vwL}.再通过双向LSTM的序列编码器得到隐藏输出序列。再是注意力组件，其建立在隐藏输出之上，包含两个注意力机制，分别是Target-Level Attention和Sentence-Level Attention Model。图中目标向量用棕色显示，灰色为句子中的普通词向量
Target-Level Attention
首先将目标向量位置上的hidden outputs作为输入，通过注意力机制计算得到一个自注意向量vt

其目的是获取当前分析各目标的权重
Sentence-Level Attention Model
然后使用target representation和aspect representation来计算句子级注意力，句子级注意力组件为每个aspect和target对返回一个句子向量；最后这个句子向量将被送到一个分类器中给出情感极性。

常识知识库

为了提高情感分类的准确性，作者将常识知识作为知识源嵌入到LSTM分析中。这里是使用的一个常识知识库，包含一些单词和相关情感属性，相当于是提供额外的方面信息。例如，“腐烂的鱼”这个概念具有属性“KindOffood”，它直接与“餐馆”或“食物质量”等方面相关，但也与情感相关，例如“喜悦”，可以支持极性检测，为了将以上关联信息添加进分析中并且不丢失原始空间的语义和情感相关性。作者更改了LSTM细胞公式，叫termed sentic LSTM，其公式如下：

可以看到向其中添加了ui向量，其为常识知识库得到的关于该目标的向量，其包含一定的方面信息或情感属性信息，比如腐烂的鱼，可能跟食物质量这个方面有较大关联(还不是很懂，目前这么理解)

实验
其采用的SentiHood (Saeidiet al. 2016) and a subset of Semeval 2015 (Pontiki et al.
2015)数据集，

从表中可以看到向模型中引入外部知识已经设置多级注意力机制总体上提高了性能

结论

本文提出了一种用于分析target-ABSA的神经网络架构。设置了多级注意力机制，对目标和完整句子分别进行两步权重计算。目标级注意力学习关注目标向量的权重，而句子级注意力在整个句子中搜索目标和方面相关的信息特征。还对LSTM细胞进行了扩展，使其更有效地结合情感常识知识。