读论文——EMNLP2021 Aspect-based sentiment analysis 精读第一篇

第一遍

标题

To be Closer: Learning to Link up Aspects with Opinions

作者

摘要

1. 依赖解析树有助于发现基于方面的情感分析中的意见词。（aspect-based sentiment analysis, ABSA），但是从off-the-shelf的解析依赖器获得的树是静态的，在ABSA中可能是次优的。因为句法树的设计不是为了捕捉意见词和方面词之间的相互作用。
2. 本文中，通过缩短aspect和对应的意见词之间的距离，学习一个aspect-centric的树。在模型学习过程中，允许树状结构自适应地关联aspect和意见词，能够更好的识别ABSA中的极性。
3. 结果：在五个aspect-based情感数据集上，本文模型明显优于最近的强基线；在SemEval Restaurant 14 数据集上，aspect和意见词之间的平均距离缩短了19%。

结论

1. 通过定性和定量分析，该模型加入了根约束，提高了aspect词变成句子的根的可能性。
2. 在SemEval Restaurant 14 数据集上，缩短了aspect词和观点词之间的平均距离19%。
3. 未来可能用于三重态提取(aspect triplet extraction)

介绍

1. ABSA判断句子中对特定目标的情感极性，例如：“The battery life of this laptop is very long, but the price is too high”，aspect词battery life是正向的，aspect词price是负向的。
2. 之前的工作，使用注意力机制在aspect词和上下文词之间建模，但是这种方法会过多关注出现频率较高的词，忽视低频的词。
3. 最近的工作发现，语法树能够帮助识别aspect词相关的情感特征，但是存在两个问题：
   1. 从现成的依赖解析器获得的树是静态的，因此不能自适应地模拟多个aspect词和意见词之间的复杂关系。
   2. 不准确的解析树可能会导致错误在pipeline中向下游传播
4. 本文是针对aspect词为root定制生成语法树（ACLT, Aspect-Centric Latent Trees），通过注意力机制和MTT实现。加入一个软约束，通过MTT激励aspect词作为语法树的根节点。
5. 本文贡献点：
   1. 通过ACLT来连接aspect词和观点词
   2. ACLT学习的解析树更利于aspect词和观点词联系起来

第二遍

模型

模型框架

整体流程：

1. 通过句子编码器（BERT）获取上下文表示
2. 使用一个树偏置器，产生所有潜在树的分布（将树结构作为一个潜变量）
3. 一旦获取到潜在树分布后，采用根求精过程，获得aspect-centric潜在树
4. 用一个图或者树编码潜在树，利用树编码器的结构化表示情感分类

2.1 句子编码器

1. 这里采用BERT作为句子编码器
2. 输入：$x=([CLS]w_1,...,w_n[SEP]w_i,...,w_j[SEP])$，包括句子和方面词
3. 输出：H = BERT(x) , $H=[h_1,..,h_n]$

2.2 Aspect-centric Tree Inducer

1. 本文想解决，语法树根节点和方面词不一致问题

2. 通过前馈神经网络（FNN）计算两个节点（$h_i\in H$）边的分数

   公式：$e_{ij}=(\mathbf{t}\mathbf{a}\mathbf{n}\mathbf{h}(W_p{h}_i){)}^T{W}_b(\mathbf{t}\mathbf{a}\mathbf{n}\mathbf{h}(W_c{h}_j))$

   $W_p,W_c\in {\mathbb{R}}^{d\times d}$分别表示两个FNN

   $W_b$表示Bilinear的权重

   $e_{ij}\in {\mathbb{R}}^{d\times d}$ ，可以看作一个加权的邻接矩阵，其中每个节点对应句子中的一个词。

   感觉这里维度有问题

3. 计算根节点分数$r_i$，表示作为根节点的非非标准化（可能没有归一化）概率

   $r_i=W_r{h}_{}$