论文阅读：Hierarchical Attention Transfer Network for Cross-Domain Sentiment Classification

论文来源：https://www.aaai.org/ocs/index.php/AAAI/AAAI18/paper/view/16873/16149
发表日期：2018AAAI

1. 研究背景

   用户通常在社交媒体或评论网站上表达对产品或服务的意见。这有助于正确理解他们的情绪倾向。情感分类就是自动确定文档的整体情绪极性（例如，积极或消极），在过去几十年中学者们一直为特定领域构建情感分类器。
   跨域情感分类，从传统的基于知识和词典到现在的深度学习方法。使用深度学习方法有一个缺点：目标领域的标记数据不足，标记数据可能耗时且昂贵。它借用了来自相关源域的知识，然而，用户情绪的表达通常因领域而异。例如，在书籍领域，可读性良好被用来表达积极的情绪，平淡表示消极情绪。在电子领域，手感不错表示积极情绪，拉胯表示消极情绪。
   由于域差异，在源域中训练的情感分类器在直接应用于目标域时可能无法很好地工作。研究人员提出了各种跨领域情感分类方法。

   1.结构对应学习（SCL）方法，该方法利用多个枢轴预测任务来推断枢轴和非枢轴之间的相关性。
   2.光谱特征对齐（SFA），通过使用枢轴和非枢轴之间的共现性来找到枢轴和非枢轴之间的对齐。然而，这些方法需要手动选择枢轴，并且它们基于离散特征表示，例如带有线性分类器的单词包。最近，深度神经模型被用来自动生成用于跨域情感分类的高级特征表示。
   3.堆叠去噪自动编码器（SDA），已成功用于学习跨域共享的隐藏表示，利用两个辅助任务，通过卷积神经网络（CNN）学习句子嵌入，该网络在各个领域都能很好地工作，同时他们仍然依赖于手动识别正枢轴和负枢轴。
   4.神经网络领域对抗性训练（DANN），该训练首先引入了一种领域分类器，该分类器无法通过反转神经网络的梯度方向来区分源域或目标域的表示。
   5.对抗性记忆网络（AMN），利用注意机制和对抗性训练自动识别轴心点。然而，AMN只关注单词级的注意，而忽略了文档的层次结构，这可能无法准确地捕获文档。

2. 研究目的

   为了同时利用枢轴和非枢轴的集体力量并解释要传递什么，我们引入了一个用于跨域情绪分类的层次注意传递网络（HATN）。HATN提供了一种层次化的注意转移机制，该机制可以在词和句子两个层次上跨域自动转移情感的注意，以减少域差异，并提供更好的传递内容的解释性。

   具体来说，HATN框架由两个层次化的注意网络组成，分别称为P-net和NP-net，P-net的目标是关注枢轴，而NP-net通过枢轴作为桥梁来识别非枢轴。首先，P-net进行个体注意学习，为NP-net选择正负轴。然后，P-net和NP-net进行联合注意学习，使得HATN能够同时识别枢轴和非枢轴，实现情感注意的跨域转移。

   论文的贡献总结如下：
   提出了一种层次化的注意力转移机制，通过同时自动捕获枢轴和非枢轴，可以跨域转移情绪的注意力。此外，它还可以告诉人们在层次注意中应该转移什么，这使得领域共享的表征更具解释性。

3. HATN框架：

HATN的目标是跨域转移对情绪的关注，即自动捕获枢轴和非枢轴。因此，我们针对目标设计了两个具有不同注意的分层注意网络。
(1).P-net
目的：捕捉枢轴
输入：源域的标记数据，源域和目标域的所有数据
任务：情感分类，域分类
(2).NP-net
目标：捕获非枢轴
输入：源域的标记数据，源域和目标域的所有转换数据g(Xs)和g(Xt)
任务：情感分类，+/-枢轴预测
核心方法：Attention机制

4. 两层Attention：

   (1)Word attention：
   
   步骤：
   step1：通过将每个单词向量输入到一个的单层神经网络，获得某个隐藏表示；
   step2：注意力的计算公式；
   step3：将注意力权重与单词的向量进行加权求和，得到整个句子的意思表达；

   (2)Sentence attention：
   
   步骤和上面的Word attention差不多，将句子的表达与句子的注意力权重进行加权求和，得到文档的意思表达（积极/消极）。

   5. 研究结果与对比
      数据集：亚马逊的评论数据集，共5个领域，该数据集已广泛用于跨域情绪分类。该数据集包含五个产品/领域的评论：书籍（B）、DVD（D）、电子产品（E）、厨房（K）和视频（V）。
      
      
   6. 其他说明：
      Attention机制
      Word2vec
      Softmax
      最小化交叉熵