读论文——Inducing Target-Specific Latent Structures for Aspect Sentiment Classification（EMNLP2020）

第一遍

标题及作者

摘要

1. 基于语法依赖树的图卷积神经网络已经研究于ABSA领域，但是效果不太好。
2. 因此，本文将语法依赖树和自动生成的特定类型图联系起来；文本提出一种门控机制，动态地组合词依赖图和自注意力网络学习的潜在图的信息。
3. 本文模型可以补充潜在的语义依赖的有监督句法特征，在五个基准上的实验表明本文提出的潜在模型的有效性。

结论

1. 通过研究各种用于结构归纳的神经网络，以及用于动态组合不同结构的新型门控机制，考虑用于方面情感分类的潜在图结构中。
2. 与依赖树GCN基线对比，本文模型没有引入额外的模型参数，但是显著提升了基线的表示能力

介绍

1. 目前ABSA任务引入图结构后，效果有较大提升，但是仍然存在两个问题：
   1. 依赖解析在带噪声的文本上（例如：tweets、blogs、review comments）具有相对较低的准确度
   2. treebank可能不是捕获方面词和意见词之间交互的最有效结构
2. 为了研究三种结构归纳方法（自注意力结构、分散注意力、hard Kuma discrete structures），本文建立了一种统一的自注意力网络；此外，为了利用依赖语法的互惠性，进一步考虑了一种新的门控机制，用于在GCN编码过程中合并多个树结构。

相关工作

1. Aspect-level sentiment analysis. 包括三个任务：方面术语情感分类（ATSC, aspect term sentiment classification），方面类别情感分类（ACSC, aspect category sentiment classification）,方面词或者观点词抽取。本文侧重ATSC。
2. Latent graph induction. 首先，我们考虑基于方面词情感的方法，学习同一句子中不同方面词汇的不同结构。其次，我们对不同的潜在图归纳方法进行了实证比较，并研究了依赖树的互补效应。

第二遍

3 模型

3.1 句子编码器

1. 本文使用了一个BiLSTM编码器和一个BERT编码器，BERT编码器输入格式为：$[CLS]w_1{w}_2...w_n[SEP]w_f{w}_{f+1}...w_e$,其中$w_1,..,w_n$为输入序列，$w_f,...,w_e$为评价对象词，需要注意的是BERT采用了子词（subword level）编码，最后使用汇聚操作，将输出表示为word-level表示（$w_i\to \mathbf{c}{e}_i^o$）

2. 为了让编码器学习到aspect-specific的表示，本文采用了基于距离的Aspect-mask的方法；评价对象词的m值为0，其他词距离评价对象词越近，$m_i$越大，评价对象词周围词对它的建模能力更强。${\mathbf{h}}_i^o=m_i{\mathbf{c}\mathbf{e}}_i^o$
   $$m_i=\{\begin{array}{ll}1-\frac{f-i}{n}& 1\le i<f\\ 0& f\le i\le e\\ 1-\frac{i-e}{n}& e<i\le n\end{array}$$

3.2 依赖树表示

1. 图的邻接矩阵
   $${\mathbf{A}}_{dep}[i,j]=\{\begin{array}{ll}1& \text{ if }i\to j\text{ or }i\leftarrow j\\ 1& \text{ if }i=j\\ 0& \text{ otherwise }\end{array}$$

3.3 潜在图

1. 本文通过三种方法建立潜在图