【论文笔记】Adversarial Multi-task Learning for Text Classification

一、概要
  该文章发于ACL 2017，针对于已有的大多数神经网络多任务学习模型进行文本分类，存在的共享特征（shared features）可能再次包含特定任务特征（task-specific features）或者含有来自其他任务带来的噪声问题，作者提出了一个对抗多任务学习模型，缓解了共享特征空间和特定任务特征空间相互干扰的问题，作者在16个任务上进行实验证明其模型的有效性，并且实验结果表明模型的共享特征学习到的知识可以很好地用在新任务上。

二、模型方法
2.1 Adversarial Shared-Private Model

  如概要所述，针对于已有的神经网络多任务学习的方法可能存在共享和私有特征相互包含的问题，作者提出了对抗多任务学习模型。如上图所示，（b）表示本文方法，存在两个任务，其中蓝色的正方形和三角形表示特定任务的私有特征领域，用来捕捉特定任务的特征，重叠的红色圆圈表示共享的特征领域，其用来捕获不同任务间存在的共同特征。
  本文通过使用对抗训练来保证共享空间仅包含多任务的共享信息，以及使用正交约束来消除共享空间和私有空间之间的冗余信息。

2.2 Recurrent Models for Text Classification
  本文使用Long Short-term Memory（LSTM)模型进行文本分类，关于LSTM模型可见【Deep Learning】LSTM(Long Short-Term Memory)及变体。对于一个给定的句子x = { $x_{1},x_{2},··· ,x_{T}$}，首先通过lookup层获取到每个词的向量表示，然后通过LSTM，使用最后一个时间步的输出$h_{T}$作用整个句子的表示，最后通过一个softmax层进行分类，得到相应类别的概率。

$y^{'}= softmax(Wh_{T} + b)$
$L(y^{'},y) = −\sum^{N}_{i=1}\sum^{C}_{j=1}y^{j}_{I}log(y^{'j}_{i})$
  其中