昨天在arXiv上看到更新的一篇论文,关于对话的生成,出自阿里巴巴团队。文章目的是通过情绪控制和动态词汇表生成又快又好的对话恢复。
直接上模型结构图:
文章由一下几个部分组成:
1,情绪匹配;通过对问题和回复之间的情绪映射信息对回复进行控制,用到的模型是2018年ACL的一篇分类模型(LEAM)的思想,在之前的博客中也有提到,是将标签信息融入文本分类中,将标签和输入词表映射到同一分布空间,之前也记录了一些利用标签信息的方法。
2.Seq2Seq 模型训练;为了对话回复的QPS考虑,文本生成使用的是简单的GRU结构,encoder使用Bi-GRU,decoder使用GRU。
3.词汇模型训练;词汇被分成了虚词和内容词,词汇模型在decoder阶段预测内容词被选择的概率。
4.联合训练;最后将seq2seq模型和词汇模型进行联合训练,优化生成损失。