读论文——Inducing Target-Specific Latent Structures for Aspect Sentiment Classification（EMNLP2020）

第一遍

标题及作者

摘要

1. 基于语法依赖树的图卷积神经网络已经研究于ABSA领域，但是效果不太好。
2. 因此，本文将语法依赖树和自动生成的特定类型图联系起来；文本提出一种门控机制，动态地组合词依赖图和自注意力网络学习的潜在图的信息。
3. 本文模型可以补充潜在的语义依赖的有监督句法特征，在五个基准上的实验表明本文提出的潜在模型的有效性。

结论

1. 通过研究各种用于结构归纳的神经网络，以及用于动态组合不同结构的新型门控机制，考虑用于方面情感分类的潜在图结构中。
2. 与依赖树GCN基线对比，本文模型没有引入额外的模型参数，但是显著提升了基线的表示能力

介绍

1. 目前ABSA任务引入图结构后，效果有较大提升，但是仍然存在两个问题：
   1. 依赖解析在带噪声的文本上（例如：tweets、blogs、review comments）具有相对较低的准确度
   2. treebank可能不是捕获方面词和意见词之间交互的最有效结构
2. 为了研究三种结构归纳方法（自注意力结构、分散注意力、hard Kuma discrete structures），本文建立了一种统一的自注意力网络；此外，为了利用依赖语法的互惠性，进一步考虑了一种新的门控机制，用于在GCN编码过程中合并多个树结构。

相关工作

1. Aspect-level sentiment analysis. 包括三个任务：方面术语情感分类（ATSC, aspect term sentiment classification），方面类别情感分类（ACSC, aspect category sentiment classification）,方面词或者观点词抽取。本文侧重ATSC。
2. Latent graph induction. 首先，我们考虑基于方面词情感的方法，学习同一句子中不同方面词汇的不同结构。其次，我们对不同的潜在图归纳方法进行了实证比较，并研究了依赖树的互补效应。

第二遍

3 模型

3.1 句子编码器

1. 本文使用了一个BiLSTM编码器和一个BERT编码器，BERT编码器输入格式为：$[CLS]w_1{w}_2...w_n[SEP]w_f{w}_{f+1}...w_e$,其中$w_1,..,w_n$为输入序列，$w_f,...,w_e$为评价对象词，需要注意的是BERT采用了子词（subword level）编码，最后使用汇聚操作，将输出表示为word-level表示（$w_i\to \mathbf{c}{e}_i^o$）

2. 为了让编码器学习到aspect-specific的表示，本文采用了基于距离的Aspect-mask的方法；评价对象词的m值为0，其他词距离评价对象词越近，$m_i$越大，评价对象词周围词对它的建模能力更强。${\mathbf{h}}_i^o=m_i{\mathbf{c}\mathbf{e}}_i^o$
   $$m_i=\{\begin{array}{ll}1-\frac{f-i}{n}& 1\le i<f\\ 0& f\le i\le e\\ 1-\frac{i-e}{n}& e<i\le n\end{array}$$

3.2 依赖树表示

1. 图的邻接矩阵
   $${\mathbf{A}}_{dep}[i,j]=\{\begin{array}{ll}1& \text{ if }i\to j\text{ or }i\leftarrow j\\ 1& \text{ if }i=j\\ 0& \text{ otherwise }\end{array}$$

3.3 潜在图

1. 本文通过三种方法建立潜在图$A_{lat}$，自注意力、分散自注意力、hard Kuma

   1. 自注意力网络

      通过计算两个节点之间的相似性，将相似性分数用来表示两个节点之间的交互强度
      $${\mathbf{A}}_{lat}=\mathrm{softmax}\left(\frac{\left({\mathbf{Q}\mathbf{W}}_q\right){\left({\mathbf{K}\mathbf{W}}_k\right)}^T}{\sqrt{d}}\right)$$
      $Q,K是H的两份复制，W_q,W_k\in {\mathbb{R}}^{d\times d}$

      如果是多头注意力：
      $${\mathbf{A}}_{lat}=\frac{{\sum }_{i=1}^K{\mathbf{A}}_{head}^i}{K}$$

   2. 分散自注意力

      稠密的注意力权重会带来不相关内容的噪音，为了降低这种影响，将softmax函数替换为1.5-entmax
      $${\mathbf{A}}_{\text{lat }}=1.5\text{-entmax }\left(\frac{\left(\mathbf{Q}{\mathbf{W}}_q\right){\left(\mathbf{K}{\mathbf{W}}_k\right)}^T}{\sqrt{d}}\right)$$
      $$1.5-entmax(x)=argma{x}_{p\in {△}^d}{\mathbf{p}}^T\mathbf{x}+{\mathbf{H}}_{1.5}^T(\mathbf{p})$$

      $${\mathbf{H}}_{1.5}^T(\mathbf{p})=\frac{1}{1.5\times (1.5-1)}\sum _{j=1}^d(p_j-p_j^{1.5})$$

   3. Hard Kuma

      这是一个通过采样的方法生成一个随机图

      

      $$\begin{array}{rl}& u\sim \mathcal{U}(0,1),F_{Kuma}^{-1}(u,a,b)=(1-(1-u{)}^{1/b}{)}^{1/a}\\ & s_2表示移位和缩放样本操作\\ & z通过一个hard-sigmoid将值映射到0-1\end{array}$$
      $$\begin{array}{rl}{\mathbf{H}}_a& =\mathrm{MHSAN}(\mathbf{H},\mathbf{H},\mathbf{H})\\ {\mathbf{C}}_a& =\mathrm{LN}\left(\mathrm{FFN}\left({\mathbf{H}}_a\right)+{\mathbf{H}}_a\right)\\ {\mathbf{s}}_a& ={\mathbf{C}}_a{\mathbf{C}}_a^T\\ {\mathbf{n}}_a& =\frac{{\mathbf{s}}_a-\mathrm{mean}\left({\mathbf{s}}_a\right)}{\mathrm{std}\left({\mathbf{s}}_a\right)}\\ \mathbf{a}& =\mathrm{softplus}\left({\mathbf{n}}_a\right)\\ {\mathbf{A}}_{lat}& \sim \mathrm{HardKuma}(\mathbf{a},\mathbf{b},l,r)\end{array}$$

3.4 图卷积网络

图的组成：节点 V = { v i } i = 1 n V = \{v_i\}^n_{i=1} V={vi​}i=1n​和边$A\in {\mathbb{R}}^{n\times n}$，这里每个节点用${\mathbf{h}}_i^l\in {\mathbb{R}}^d$表示，${\mathbf{H}}^l=[{\mathbf{h}}_1^l,{\mathbf{h}}_2^l,...,{\mathbf{h}}_n^l]\in {\mathbb{R}}^{n\times d}$ ,${\mathbf{H}}_0表示句子表示\mathbf{H}$
$${\mathbf{H}}^l=\rho \left({\mathbf{A}\mathbf{H}}^{l-1}{\mathbf{W}}^l+{\mathbf{b}}^l\right)$$

3.5 门控结合

$$\begin{array}{rl}{\mathbf{I}}_{dep}& ={\mathbf{A}}_{dep}{\mathbf{H}}_{in}\mathbf{W}\\ {\mathbf{I}}_{lat}& ={\mathbf{A}}_{lat}{\mathbf{H}}_{in}\mathbf{W}\\ \mathbf{g}& =\sigma \left({\mathbf{I}}_{lat}\right)\\ {\mathbf{I}}_{com}& =(1-\lambda \mathbf{g})\odot {\mathbf{I}}_{dep}+\lambda \mathbf{g}\odot {\mathbf{I}}_{lat},\\ {\mathbf{H}}_{out}& =\rho \left({\mathbf{I}}_{com}+\mathbf{b}\right),\end{array}$$

3.6 情感分类器

$$\begin{array}{rl}{\gamma }_t& =\sum _{i=f}^e{\mathbf{c}\mathbf{e}}_t^0{\mathbf{H}}_i^N\\ \alpha & =\mathrm{softmax}(\gamma )\\ \mathbf{z}& =\alpha \mathbf{C}\end{array}$$

$$\mathbf{C}=[{\mathbf{c}\mathbf{e}}_1^0,{\mathbf{c}\mathbf{e}}_2^0,...,{\mathbf{c}\mathbf{e}}_n^0]$$

$${\gamma }_t表示第t个上下文词和评价对象词的注意力分数$$
$$\mathbf{p}=\text{softmax}({\mathbf{W}}_{\mathbf{o}}\mathbf{z}+{\mathbf{b}}_{\mathbf{o}})$$

3.7 训练

损失函数定义：

$$L(\theta )=-\sum _{i=1}^N\sum _{c_{i,j}}\text{log}{\mathbf{p}}_{y_{i,j}}+\frac{{\lambda }^{{}^{\prime }}}{2}||\theta |{|}^2$$

$$y_{i,j}表示在第i个序列中，第j个评价对象词c_{i,j}的标签$$

4. 实验

设置

1. 初始化词向量用300维的GloVe预训练结果
2. 2个门控GCN块，head数：8，H维度：300

4.1 Development 结果

潜在图效果

$\lambda$的效果

4.2 主要结果

1. 比较不同模型的结果

   

   

   结果发现使用BERT的词向量表示+KumaGCN可以获得最佳表现

4.3 基于参数的迁移学习

1. 通过在twitter数据集上训练一个源模型，并在餐厅数据集上对训练好的的模型进行测试。结果表明，诱导潜在结构对于捕获评价对象词和观点词具有很强的鲁棒性。

   

4.4 注意力距离

如图可以发现，KumaGCN模型对于距离更近的词，注意力分数更高，而一般来说评价对象词和观点词距离较近。

4.5 案例研究

1. 比较不同模型对于when i got there i sat up stairs where the atmospherewas cozy & theservicewas horrible !的识别效果
2. depGCN和kumaGCN模型都可以识别出service的感情极性，但是对于atmosphere只有kumaGCN模型识别出来了（如图a）
3. 在图b中，发现两个观点词cozy和horrible在DepGCN中也有连线，但是在潜在图中不存在这种情况，作者认为从这点可以认为，本文模型因此比DepGCN能够更好学习评价对象词和观点词之间的关系。

第三遍

小结：

1. 从本文可以发现GCN在ABSA中任务任务中已经广泛应用，但是需要构造一个更加适合ABSA任务的图；本文提出一个潜在图来加强评价对象词和观点词之间的关系（潜在图中节点之间的权重，可以通过自注意力机制、分散自注意力机制以及HardKuma分布采样获得），然后使用门控机制，综合使用句法依赖树和潜在图（经过实验，取$\lambda =0.2$）获得最佳效果。
2. 经过发现，本文模型降低了相邻较近的词之间的注意力分数，作者认为这一点提升了该模型在ABSA任务中的效果。（个人认为，这一点还需要讨论）
3. 本文模型还可以用于迁移学习。