Semi-supervised Sequence Learning

之前分享过几篇有监督的sentence表示方法，比如Recurrent Convolutional Neural Networks for Text Classification、Convolutional Neural Networks for Sentence Classification，也分享过很多几篇无监督的sentence表示方法，比如Distributed Representations of Sentences and Documents、Skip-Thought Vectors。本篇将分享是一篇半监督的sentence表示方法，该方法比Paragraph Vectors更容易做微调，与Skip-Thought相比，目标函数并没有它那么困难，因为Skip-Thought是用来预测相邻句子的。本文的题目是Semi-supervised Sequence Learning，作者是来自Google的Andrew M. Dai博士。

纯粹的有监督学习是通过神经网络来表示一个句子，然后通过分类任务数据集去学习网络参数；而纯粹的无监督学习是通过上文预测下文来学习句子表示，利用得到的表示进行分类任务。本文的方法将无监督学习之后的表示作为有监督训练模型的初始值，所以称为半监督。本文的有监督模型采用LSTM，无监督模型共两种，一种是自编码器，一种是循环神经网络语言模型。

第一种模型称为Sequence AutoEncoder LSTM(SA-LSTM)，模型架构图如下：

这幅图大家看着都眼熟，和Sequence to Sequence Learning with Neural Networks中的seq2seq架构图很相似，只不过target和input一样，即用input来预测input自己。将自编码器学习到的表示作为LSTM的初始值，进行有监督训练。一般来说用LSTM中的最后一个hidden state作为输出，但本文也尝试用了每个hidden state权重递增的线性组合作为输出。这两种思路都是将无监督和有监督分开训练，本文也提供了一种联合训练的思路作为对比，称为joint learning。

第二种模型称为Language Model LSTM(LM-LSTM)，将上图中的encoder部分去掉就是LM模型。语言模型介绍过很多了，比如A Neural Probabilistic Language Model和Character-Aware Neural Language Models，详细的可以看之前的分享，这里不再赘述了。

模型部分就是这些，后面作者在情感分析、文本分类、目标分类等多组任务中进行了对比实验，均取得了不错的结果。

本文的创新点在于结合了无监督和有监督学习两种思路的优点来解决一个传统问题，虽然说无监督是一种趋势所在，但有监督针对具体的问题会有更好的效果。这种融合各类模型优点的模型会更受欢迎，也是一种不错的思路。

来源：paperweekly

原文链接