HRED+VHRED+AWI模型介绍

这次会介绍三篇文章，因为原理比较相似，都是采用分层架构来解决多轮对话问题，三篇论文如下所示：

• Building End-To-End Dialogue Systems Using Generative Hierarchical Neural Network Models(HRED)
• A Hierarchical Latent Variable Encoder-Decoder Model for Generating Dialogues(VHRED)
• Attention with Intention for a Neural Network Conversation Model(AWI)

前面两篇出自Serban，文章思路和方法大体一致，后者在第一篇文章的基础上加入了变分编码机的思路，改善了模型的效果。而第三篇论文将Attention机制融合到分层seq2seq模型中，同样是引入了高层变量的方法。下面分别介绍三篇文章的具体细节：

HRED

模型的系统架构图如下所示：

简单来说就是使用分层的seq2seq模型构造多轮对话，Encoder RNN主要用于对输入句子进行编码，这里跟普通的seq2seq没有什么区别，并且把最后一个时刻的隐层向量认为是输入句子的编码向量，当做下一层RNN的输入向量。中间一层context RNN用来编码整个对话的状态、意图等对话层面的信息，而第一层RNN用来编码一句话的句子层面信息，中间层每个时刻输入的第一层输出的句子表示向量，这样context RNN的隐藏层向量就可以记住之前的对话信息，所以成为上下文向量。最后，将该编码了之前对话信息的向量作为decoder RNN的输入向量&#x