对话预训练_论文粗读：使用对话数据预训练情感分类器

这是ACL2018上的一篇短文。

预训练

既然可以预训练词向量，为什么不可以直接预训练句子向量呢？有篇2015年文章

更进一步，本文使用了tweet上对话数据。这是因为作者发现，一段文本中的情感往往会影响回复它的文本中的情感。比如，“愤怒的消息容易得到愤怒的回应， 难过的消息得到同情的回应、高兴的消息得到祝贺的回应”。

模型

文章提出的模型分为两步：使用对话数据训练一个对话模型(encoder-decoder)。

训练情感分类器(encoder-labeler)，其中encoder是通过对话模型中的encoder部分的参数初始化的。

实验及结果

如下表所示，对话数据22M，而情感分类有100K。

实验结果如下图，其中第一行表示带标记的训练数据数目。Default指的是不使用预训练技术；Dial是文章中提出的模型；Lang表示语言模型；SeqAE表示自编码器；LogReg和LinSVM表示使用逻辑回归和线性SVM结合词袋特征，其中这些词袋特征包含50k个unigram和50k和bigram和233个表情。LogReg和LinSVM是SemEval2013上的最佳模型。

参考^Dai A M, Le Q V. Semi-supervised Sequence Learning[C]//Proceedings of the 28th International Conference on Neural Information Processing Systems-Volume 2. MIT Press, 2015: 3079-3087.