[论文笔记-6]Discrete Opinion Tree Induction for Aspect-based Sentiment Analysis

题目、作者

abstract

1. 依赖树(dependency trees)缺点：

① 依赖于外部解析器，而这些解析器对于低资源的语言来说是不可用的，或者在低资源的领域表现更差；

② 没有为基于方面的情感分类进行优化。

2. 研究方法：本文提出一种特定于方面和与语言无关的离散潜在意见树(discrete latent opinion tree)模型作为显式依赖树的替代结构。建立了方面-语境注意分数与句法距离之间的联系，并从注意分数中归纳出树。

一、Introduction

1. 依赖树与诱导树(induced tree): 

① 依赖树。如图1(a)所示，以前的研究通过手动规则将依赖树转换为特定于方面的形式来提高aspect情感分类性能。但是，树结构的调整主要是通过节点层次进行的，没有优化ABSA的依赖关系。【个人理解：使用句法树的目的就是让模型找到方面词对应的意见词，从而根据其意见词预测情感极性。而这里的“没有优化依赖关系”，指的应该是与ABSA任务无关的依赖噪声太多】

② 诱导树。给定一个目标和一个句子，算法根据一组注意力分数递归地归纳出一个树形结构。【详见后面2.1-Opinion Tree】

2.  算法思想：从根节点(apsect)开始，该算法通过在当前节点的每一边选择一个子节点来构建树，并递归地继续分区过程，以获得二值化和词汇化的树结构(之后将该结构送入GCN)

二、Model

2.1 Opinion Tree Based Classifier  

① Opinion Tree(induced tree)：如图1所示，对于方面词a的意见树(诱导树)是一棵二值化(binarized)树。每个节点包含一个单词片段(span)和最多两个子节点【方面词a为根节点】。除根节点外，每个节点只包含一个单词。按顺序遍历(中序遍历)意见树可以恢复原来的句子。理想情况下，根节点附近的节点应该包含相应的意见。

算法1(下图)展示了使用节点得分函数v为方面a构建符合上述条件的意见树t的过程【简单了解即可，因为本篇工作的github地址是空的。。】

② Calculating v(注意力分数)： 

将“[CLS] w1 w2 . . .wn [SEP] wb wb+1 . . .we”作为Bert的输入，以获得面向方面的句子表示H，然后计算出一组方面词的注意分数：

③ Graph Representation：

我们把意见树t转换成无向图G。具体来说，我们将每个单词作为G中的一个节点，通过考虑四种边类型，设计G的邻接矩阵A。

公式解释/设计邻接矩阵步骤：首先，我们为每个单词包含self-loops。其次，我们将方面术语中的每个词完全连接起来。第三，对于根节点的子节点wj，我们将wj链接到a中的每个单词。最后，我们考虑t中除根节点外的单个单词节点之间的边。

然后，我们使用GCNs来捕获单词对之间的结构化关系

其中，f是激活函数；A是图G对应的临街矩阵； 为第(l-1)层GCN的输出；

与 是第l层的模型参数。(第一次GCN的输出入来自句子encoder)

④ Target Aspect Representation

我们将[CLS]的token和最后一层GCN得到的方面词向量作为特定于方面(aspect-specific)的表示向量来查询输入句子表示。输入句子表示的最终方面特定特征表示c是由注意层输出

 其中，αt是方面词a对于单词wt的注意力分数；

⑤ Output layers

其中Wc和bc都是模型参数。

2.2 Training the Sentiment Classifier

【简单看看即可】

① Cross Entropy Loss

② Tree Distance Regularized Loss 

 

 引入了一个语法约束来调整注意权重。理想情况下，接近根节点的单词应该获得较高的注意权重。

给定一个意见树t，我们根据每个单词到根的最短路径的长度计算得出di。在距离和注意分数α的条件下，我们使用KL发散来鼓励体项参与距离较短的情境。 

三、Experiments