方面级情感分析论文泛读05：CAN: Constrained Attention Networks for Multi-Aspect Sentiment Analysis

提示1：原文链接

---

前言

  本篇博客主要是对《CAN: Constrained Attention Networks for Multi-Aspect Sentiment Analysis》进行了泛读，并对其进行了简单地记录，以帮助大家快速了解此篇论文的要点。

---

一、论文信息

• 论文名：《CAN: Constrained Attention Networks for Multi-Aspect Sentiment Analysis》
• 作者：Mengting Hu, Shiwan Zhao, Li Zhang, Keke Cai, Zhong Su, Renhong Cheng, Xiaowei Shen
• 领域：Multi-Aspect SA
• 关键词：Constrained Attention Networks、Multi-Aspect Sentiment Analysis
• 发表年份：2019
• 会议/期刊名：EMNLP

二、笔记要点

2.1 目前存在的问题

  注意力模型处理方面情感分析问题时会引入噪声，即会关注到其他方面的情感词。

2.2 现有方法

  1. 基于注意力的LSTM模型
  2. 交互式注意力网络
  3. 用于方面级别情感分类的分层神经网络模型
  4. 基于分割注意的 LSTM 模型进行方面级别的情感分类

2.3 本文方法和创新点

  方法：
     ① 提出了注意力约束模型(Constrained Attention Networks，CAN)；
     ② 采用多任务学习方法，将CAN扩展到多任务设置；

  创新点
     ① 引入sparse regularization（稀疏正则化），它倾向于使每个方面的注意力权重只集中在几个词上。
     ② 引入orthogonal regularization（正交规范化）
     ③ 引入ACD作为辅助任务来帮助ALSC任务

2.4 模型结构

  注意1：ALSC 和 ACD 任务使用相同的注意力机制，但它们不共享参数。
  注意2：Regularization Layer 仅在训练阶段可用，在该阶段已知用于计算正则化损失的真实情况，然后影响反向传播中的参数更新。而在测试/推理阶段，真正的方面是未知的，并且没有计算正则化损失，因此从架构中省略了这一层。

2.5 实验结果

  Single-task Settings
    【Table2所示】：实验结果表明，引入注意力正则化后我们的方法优于其他方法。
  Multi-task Settings：
    【Table3显示了多任务设置中 ALSC 任务的结果】：首先观察到多任务设置的整体结果优于单任务设置的结果，这通过引入辅助 ACD 任务来帮助 ALSC 任务证明了多任务学习的有效性。其次，在几乎所有情况下，将注意力正则化应用于这两个任务比仅应用于 ALSC 任务获得更多的性能提升，这表明我们的注意力正则化方法可以扩展到涉及方面级别注意力权重的不同任务，并且在多任务中运行良好。
    【Table4 显示了多任务设置中 ACD 任务的结果】：我们提出的正则化项也可以提高 ACD 的性能，正则化在几乎所有指标上都达到了最佳性能。

2.6 总结和展望

  1. 本文提出了用于多方面情感分析的约束注意网络，并在两个公共数据集上进行了实验，证明了方法的有效性；
  2. 实验结果表明，我们的方法优于最先进的方法。

---

总结

  以上就是本篇博客的全部内容了，希望对你有所帮助。