论文精度：Advwrsarial Multi-task learning for Text Classification

多任务学习重点：

学习共享层，提取共同特征。

论文创新点：

对抗式多任务学习，减轻共享和私有特征空间之间的互相干扰。

借鉴点：

• 精确的方式划分特定任务和共享空间，不是粗略共享参数。
• 将多个任务之间的共享知识压缩成一个现成的神经网络。

 文本分类模型:

LSTM，损失函数是交叉熵。

共享模型（共享私有模型）SP-MTL

 最终特征是将私有空间和共享空间的特征串联。

损失函数：

 

对抗共享-私有模型：

GAN：

生成式对抗网络（Generative Adversarial Networks）有两个模块，生成模块（Generative Model）和判别模块(Discriminative Model)相互博弈学习产生相当好的输出。

G接受一个随机的噪声z，通过噪声生成数据。

D是一个判别网络，判别数据是生成还是真实数据。

多任务学习对抗任务损失

共享递归神经层对抗地向可学习的多层感知器工作，阻止它对任务类型的准确预测。

增加任务对抗损失防止任务的特定特性进入共享空间。被用来训练一个模型产生共享特征，只基于这些特征，分类器是不能准确进行预测任务。

极大极小化思想：LSTM共享层的生成器是生成一个句子表达误导任务，判别器是尽量对任务做成正确分类。

 

 正交约束：

 惩罚冗余的潜在表示，并鼓励共享和私有提取器对输入的不同方面进行编码。消除私有和共享空间中 的冗余。

最终：