《Progressive Self-Supervised Attention Learning for Aspect-Level Sentiment Analysis》学习笔记

《Progressive Self-Supervised Attention Learning for Aspect-Level Sentiment Analysis》

《基于循序渐进的自我监督注意力学习机制的方面情感分析》

读文献笔记（仅仅帮助自己记忆，希望批评指正）

前言：
aspect level情感分析
Explain: 给定句子和相应aspect word(target word)，aspect level sentiment classification的任务是判断所给句子在指定aspect/target上的情感倾向。

Key point: aspect level情感分析的关键问题在于捕捉不同的context word对于特定aspect的重要性，利用这个信息做句子的语义表示。

摘要：

在面向方面情绪分类(ASC)中，为了获得每个上下文单词在给定方面上的重要性，通常在神经模型中设置注意机制，然而，这种机制往往过于关注少数带有情感极性的频繁词汇，而忽略了不频繁的词。本文针对面向方面情绪分类模型，提出了一种渐进的自监督注意学习方法，该方法自动从训练语料库中挖掘有用的注意监督信息，以细化注意机制。具体的说，我们迭代地对所有训练实例进行情感预测，特别是在每次迭代中，将权重最大的上下文单词提取为对每个实例的正确/不正确预测标记有积极作用/误导作用的标签，然后在后续的迭代中，这个词单词将被屏蔽。最后，我们用正则化术语扩充了传统的训练目标。于此同时，ASC模型继续同样关注提取的活动上下文单词，并减少那些误导词汇的权重。在多个数据集上的实验结果表明，我们提出的方法产生了更好的注意机制，导致对两种最先进的神经ASC模型的实质性改进。源代码和经过训练的模型可以在https://github.com/DeepLearnXMU/PSSAttention上找到。

文章细读

We speculate that this is because there exist widely “apparent patterns” and “inapparent patterns”. Here, “apparent patterns” are interpreted as high-frequency words with strong sentiment polarities and “inapparent patterns” are referred to as low-frequency ones in training data..

作者指出“我们推测这是因为存在广泛的“明显模式”和“不明显模式”。这里，“显性模式”被解释为情绪极性较强的高频词，“隐性模式”在训练数据中被称为低频模式。”，如下例子：
上述例子是五个句子的注意力可视化示例，其中前三个是训练实例，后两个是测试实例。括号中的粗体单词是目标词。Ans. / Pred。=基本事实/预测情绪标签。根据注意力的轻重，单词会有不同程度的突出。

作者通过以上例子得出：由于语境词“小”经常与消极情绪一起出现，注意机制对其给予更多的关注，并将包含它的句子与消极情绪直接联系起来。这就不可避免地导致了另一个信息语境词“crowded”被部分忽视，尽管它也带有负面情绪。因此，一个神经ASC模型错误地预测了最后两个测试句的情绪:在第一个测试句中，神经ASC模型未能捕捉到“拥挤”所隐含的负面情绪;而在第二个测试句中，注意机制虽然与给定的方面无关，但它直接聚焦于“小”。因此，我们认为ASC的注意机制仍有很大的改进空间

上述问题的一个潜在解决方案问题是有监督的注意力机制，在该论文中，作者提出了针对神经ASC模型提出了一种新的渐进自监督注意学习方法。该方法能够自动、增量地从训练语料库中挖掘被监控的信息，这些信息被用于指导ASC模型中注意机制的训练。该方法基本思想根源于以下事实:具有最大值注意力的权重的上下文词对输入句的情感预测有最大的影响。因此，在正确预测训练实例过程中这样的上下文词应该被考虑，相反，在错误预测的训练实例中，这样的上下文单词应该被忽略。为此，我们反复对所有训练实例进行情绪预测，特别是在每次迭代中，我们从每个训练实例中提取注意力权重最大的上下文单词，形成可以用来指导注意机制训练的注意监督信息， 在正确预测的情况下，我们将继续考虑这个词;否则，这个词的注意权重就会降低。然后，我们对目前提取的每个训练实例的上下文词进行掩码，按照上述过程重新进行训练，发现更多的注意机制的监督信息。最后，我们使用正则化器增强了标准训练目标，使这些挖掘出来的上下文单词的注意分布与它们的期望分布保持一致。

背景知识

MN and TNet

这里我们引入一些符号来方便后面的描述
x= (x1; x2; :::; xN) is the input sentence
t= (t1; t2; :::; tT ) is the given target aspect
y={ Positive, Negative, Neutral } ground-truth and the predicted sentiment, respectively