《Aspect Level Sentiment Classification with Deep Memory Network》，《Memory Network》阅读笔记

Abstract

这篇文章是介绍的是使用Deep Memory Network在aspect level上做情感分类。与feature-based SVM，LSTM这些模型不同的是，在推断每个aspect时，模型可以明确地捕捉到每个上下文单词的重要性。这个重要的程度和文本的表示时通过多层计算的，每一层都是基于external memory的attention神经网络模型。通过在laptop和restaurant两个数据集的实验，作者提出的模型的性能优于feature based SVM，LSTM，attention-based LSTM等模型。同时，这个模型的速度更快。

---

Task Definition

这篇文章的任务是对句子中出现的aspect进行情感分类。在同一个句子中，不同的aspect的情感分类是有可能不同的，举个例子：‘great food but he service was dreadful!’，对于‘food’这个aspect，它的情感是积极的，而对于‘service’这个aspect，它的情感是消极的。
针对这类问题，已经有很多学者做出了研究，包括feature-base SVM，深度神经网络等等。尽管这些模型有各自的优点，但像传统的LSTM是以一种不明确的或是不好解释的方式来捕捉上下文的信息，而且LSTM捕捉上下文的步长是有限的。还有一点就是，传统的LSTM是以一种顺序地方式来工作的，并且对于每一个上下文单词都是进行相同的操作，这样就不能明确地显示每个上下文单词的重要性。但是在真实的语境中，比如给一句话给人类让他对其中的一个aspect进行情感分类，其只需要只需要一句话中的某些重要单词就可以完成这个任务。模拟这个过程，这篇文章提出了使用deep memory network在aspect level做情感分类，在这个模型中使用了Attention Mechanism和Explicit Memory。

---

Model

这篇文章采用的模型是由一个多层的共享参数的computational layers构成。每一层都是基于上下文和位置Attention的模型， 它可以为每一个上下文单词学习到一个权重，并且利用这些信息来计算text representation。最后一层输出的text representation作为进行情感判断的特征。在这个模型中的每一个部分都是可微的，所以可以使用梯度下降的方式进行训练，损失函数采用的cross-entropy。

---

Related Work

这篇文章比较吸引我的是采用了Memory Network，所以这里就简单的讲一下相关的工作。另外还有一篇文章，是将基于Attention机制的Aspect情感分类，如果你们感兴趣，可以去找《Attention-based LSTM for Aspect-level Sentiment Classification》这篇文章。
Memory Network最开始是由Facebook提出来的，随后又提出了End-to-End Memory Network。之所以要提出memory network，是因为，大多数机器学习的模型都缺乏可以读取和写入外部知识的组件。虽然LSTM可以捕捉到上下文，但是它的步长有限，当用于QA时，它的记忆相对来说比较少，不能精确地记住过去的事实。
Facebook 的Jason Weston等人提出的这个框架，是通过引入长期记忆（long-term memory component）来解决神经网络长程记忆困难的问题。基于该框架构造的模型可以拥有长期（大量）和易于读写的记忆。这个框架由五个部分组成：

• 记忆M:模型记忆的表示，由一个记忆槽列表[$m_i-m_j$]组成，可被G，O组件读写
• 组件I（input feature map）:将模型输入转化成模型内部特征空间中的特征表示
• 组件G（generalization）:在模型获取新输入时更新记忆m，可以理解为记忆存储
• 组件O（output feature map）:根据模型输入和记忆m输出对应与模型内部特征空间中的特征表示，可以理解为读取记忆
• 组件R（response）:将O组件输出的内部特征空间的表示转化为特定格式，可以理解为将读取到的抽象的记忆转为具象的表示

在这里，将举一个例子来说明memory network在QA中的工作流程：
输入：一系列句子：{ $S_1,S_2,...,S_n$}和question q
任务为：根据这些sentence得到q得答案
STEPS：

1. I每次读一个句子