基于控制主题的对话生成 相关论文总结

前 言

在对话生成模型中，无论是目前应用广泛的seq2seq模型，还是各种GAN模型，都会存在生成的response和question之间语义关联性不强的问题。众多的NLPer从希望从多个角度去解决这个问题，其中基于主题的对话生成是被提及较多的方法。在近三年的论文和实际应用中，也取得了较好的结果。最近也看了一些相关的论文，在中文数据集上实验了一些模型，通过这篇文章对该方向的研究做一个简单的总结。

一、《Sequence to Backward and Forward Sequences: A Content-Introducing Approach to Generative Short-Text Conversation》（2016）

论文链接：

https://128.84.21.199/pdf/1607.00970.pdf​128.84.21.199

github源码：

MaZhiyuanBUAA/Seq2BFforDialogueGeneration​github.com

简介：

An overview of our content-introducing approach to generative dialogue systems

该模型主要由两部分组成。

一是使用逐点互信息(PMI)进行预测，选取PMI值最大的单词作为回答中的关键词，该关键词可以出现在回答语句中的任意位置。

二是使用seq2BF模型来生成包含关键词的回答。以该关键词为基点，将回答语句划分为两个序列：正向序列：关键词右侧的所有单词以顺序排列；反向序列：关键词左侧的所有单词以逆序排列。使用 seq2seq 神经网络将问题编码，仅对关键词左侧的单词进行解码，逆序输出每个单词；使用另一个seq2seq模型将问题再次编码，在给定上步中解码后的逆序单词序列下，对回答中的剩余单词进行顺序解码，输出最终单词序列。

实验结果：

总结：

本文提出的模型是假设关键词一定在句中出现，先选出关键词（主题），然后生成的过程中以关键词为分界，先后生成前后两句话。

二、《Towards Implicit Content-Introducing for Generative Short-Text Conversation Systems》（2017）

论文链接：

https://aclanthology.info/papers/D17-1233/d17-1233​aclanthology.info

 

Towards Implicit Content-Introducing for Generative Short-Text Conversation SystemsTowards Implicit Content-Introducing for Generative Short-Text Conversation Systems​aclanthology.info

 

简介：

本文较上一篇文章改进的地方是，假设关键词（主题词）在生成文本中不一定出现。该模型设计了cue word gru单元，将关键词信息加入到每一步的状态更新。利用设计的fusion unit结构融合普通的GRU和cue word gru单元。

实验结果：

三、《A Syntactically Constrained Bidirectional-Asynchronous Approach for Emotional Conversation Generation》（2018）

论文链接：

https://arxiv.org/pdf/1806.07000v4.pdf​arxiv.org

 

简介：

The process of generating replies in the test. The middle part of the reply is generated, and the remaining two sides are generated in Step III. The RNN networks used in the decoderdo not share the parameters with each other

本文是假设每个生成的回复都是一个情感关键词wet、一个主题关键词w_tp和其他位置词y_ct,y_md,yce组成的。首先先预测情感关键词和主题关键词，然后生成中间的文本序列y_md，在分别生成剩下的两端文本，最后对这段文本的真是方向进行二分类，得到最终生成的文本。

实验结果：

总结：

本文是在第二篇文章的基础上引入了新的情感关键词，并在生成过程中将句子分成了三段，设计思路比较新颖。

四、《Topic Aware Neural Response Generation 》（2016）

论文链接：

https://arxiv.org/pdf/1606.08340.pdf​arxiv.org

 

github代码：

LynetteXing1991/TA-Seq2Seq​github.com

简介：

这是微软亚研院的一篇工作，之前在微软小冰的设计框架中看过这篇文章。本文介绍了一种将topic model与seq2seq结合的方法，主题来自于预训练的LDA模型，为了增加主题词出现在回答中的可能性，该模型通过添加额外的概率项来偏向整体分布来修改主题词的生成概率。该模型利用主题来模拟人类的先验知识，指导他们在对话中形成信息性和有趣的反应，并通过联合注意机制和偏向生成概率利用主题信息生成。

topic model的获取：采用twitter lda模型,每个输入语句x,对应一个topic z,对于topic z,语句x中语该topic有关的字有n个,取n=100,表示为K,利用输入语句x,topic words k,以及输出y,训练生成模型。

在解码阶段，通过句子注意力和主题注意力来控制对话生成的方向。

实验结果：

总结：

感觉这篇文章做的还是比较成功的，不仅仅局限于句子本身的关键词，做了一定的主题拓展，增加了回复生成的多样性。

五、《Augmenting Neural Response Generation with Context-Aware Topical Attention》（2018）

论文链接：

https://arxiv.org/pdf/1811.01063.pdf​arxiv.org

 

github源码：

nouhadziri/THRED​github.com

简介：

THRED model architecture in which we jointly model two specifications that presumably make the taskof response generation successful: context-awareness (modeled by Context Attention) and diversity (modeled byTopic Attention)

本文提出了一个端到端的对话模型THRED，通过层次化的联合 attention 机制，在回复生成中利用对话历史和主题信息，使对话更加多样化。此外，论文还引入了两种新的自动化评价指标：语义相似度和回复回声指数。实验表明，本文模型能产生更具多样性并且上下文相关的回复。

具体实现方式和第四篇文章和相似（本文也将第四篇文章的模型作为对照基线），都是先通过LDA训练主题模型，构建包含拓展词的数据集。与第四篇文章不同的是，该模型在设计的时候考虑到了上下文信息，通过句子级别和词语级别的注意力机制对上下文进行建模，再引入主题注意力机制，使生成的回复包含更多信息。

实验结果：

总结：本文算是结合了上下文信息与主题信息，做的比较成功。同时，github上开源的代码写的比较详细，不仅实现了本模型，也同样封装了基线模型，便于复现。（我在中文数据集上古复现了一下，可能是我的语料和自己训练的中文主题模型不太好，结果不是很理想）

 

最后的总结：

基于主题的对话生成，可以为生成的回复赋予更多的信息，增强上下文的语义关联，同时有助于对话更好地进行下去，是闲聊对话生成值得探索的方向。（完）