Adversarial Multi-task Learning for Text Classification（ACL 2017）

原文链接：

https://arxiv.org/abs/1704.05742?context=cs

 

论文动机：

神经网络模型在多任务学习中显示出良好的应用前景。然而，大多数多任务学习方法仅仅基于是否共享某些组件的参数将不同任务的特征划分为私有空间和共享空间。这些方法存在共享特征空间与特定于任务的特征空间之间相互干扰的问题，共享特征空间中包含部分特定于任务的特征，造成特征冗余，同时特定于任务的特征中也存在共享特征。

 

论文提出了一个对抗性多任务学习框架，通过两个策略减少了共享和私有的潜在特征空间之间的相互干扰：对抗训练、正交约束。对抗性训练用于确保共享特征空间只包含公共的和任务无关的信息，正交约束用于消除私有和共享空间中的冗余特征。模型所学习到的共享知识可以看作是现成的知识，并且可以很容易地转移到新的任务中。

Recurrent Models for Text Classification：

 本文采用LSTM模型进行文本分类，对于一个句子，首先通过lookup层获得每个词对应的词向量，喂入LSTM获得句子表示（LSTM最后一个时间步的输出），然后经过一个全连接层，最后通过softmax层进行分类。使用交叉熵损失作为目标函数：