16年几篇经典论文对比与总结

导语

基于最近阅读的几篇2016年在ABSC方向上发表的经典论文，我对比了这些论文作者在面对（当时）ABSC的现状、ABSC遇到的问题与不足时，各自是怎样找寻自己的解决方案的。下面为我读的几篇论文（下面为每篇我的阅读笔记的超链接）：

• Effective LSTMs for Target-Dependent Sentiment Classification
• Attention-based LSTM for Aspect-level Sentiment Classification
• Aspect Level Sentiment Classification with Deep Memory Network
• Gated Neural Networks for Targeted Sentiment Analysis

下面的内容也都是将这四篇当作一个整体来对待的。

Motivation

在动机方面，因为大家都处在2016年这个时间点，所以遇到的问题基本一致，那就是传统的特征工程与机器学习算法SVM的做法与传统的神经网络方法均有着明显的弊端。

• 首先传统基于特征工程的机器学习算法本就在10年之后就被深度神经网络逐步赶超，而特征工程本身夹带工作人员主观情感的特点成为了本身就很依赖主观因素的情感分类任务的致命伤。所以，显然深度神经网络是更好的选择。
• 而传统的神经网络的问题在于，其没有对 Aspect 信息很好地有针对性地处理。

所以从那时起用神经网络进处理 ABSC 任务越来越主流。

思路

首先，这些论文的作者无疑都选择了神经网络的方法，这也没什么好说明的，大势所趋。而针对传统神经网络对 Aspect 信息针对性处理的不足，各作者的思路也不相同。

Effective LSTMs for Target-Dependent Sentiment Classification

该篇作者的思路直截了当，根据之前已有的方法（LSTM方法）进行了改进。为什么作者选择这种方法进行改进呢？首先在传统神经网络中，LSTM这种方法本身就可以考虑到 document 中各个 word 的影响，而 Aspect 包含的 words 显然也会被考虑进去。其主要问题仍是对 Aspect 这部分的处理比较隐晦，所以顺理成章的想法是改进 LSTM 使得其更多地考虑 Aspect 信息，我认为这也是作者当时的思虑。

Attention-based LSTM for Aspect-level Sentiment Classification

这个工作在 TD-LSTM、TC-LSTM 的基础上加入了 Attention 机制，但只是简单的用了一下。

Aspect Level Sentiment Classification with Deep Memory Network

同样是用 Attention 机制，但是为了更全面、准确的考虑，这篇工作在如何用 Attention 方面做了一些改进，例如额外加入了位置的 Attention，还对基于内容的 Attention 做了调整，使其可以进行多层处理（每层注意力的重点会根据具体情况调整）。

Gated Neural Networks for Targeted Sentiment Analysis

不同于基于 Attention 的方法，本篇采用的是门控的机制来考虑 context、target 信息。

不足

对 context、target 的处理比较简单，总的来说这些方法都是比较笼统的（或者说统一的）方法在处理，但例如一些文本中的复杂结构（正话反义等等），这些方法的能力显然是不足的。