论文浅尝 | 主题感知的问答生成

最新推荐文章于 2024-03-06 15:10:06 发布

开放知识图谱

最新推荐文章于 2024-03-06 15:10:06 发布

阅读量522

点赞数 1

本文链接：https://blog.csdn.net/TgqDT3gGaMdkHasLZv/article/details/89507798

版权

本文提出了一种Topic Aware Sequence-to-Sequence(TA-Seq2Seq)模型，利用话题信息辅助生成更具信息量和趣味性的对话响应。通过Twitter LDA模型获取输入信息的主题单词，然后在解码阶段采用联合注意机制，结合输入信息和话题生成回答。实验表明，该模型能有效提高回答的质量和相关性。

摘要由CSDN通过智能技术生成

640?wx_fmt=png

Citation: XingC, Wu W, Wu Y, et al. Topic aware neural response generation[C]//Thirty-FirstAAAI Conference on Artificial Intelligence. 2017.

动机

人机对话在 AI 和 NLP 领域是一项具有挑战性的工作。现存的对话系统包括任务导向的对话系统和非任务导向的聊天机器人。在聊天机器人里面构建对话引擎的方法就是利用大规模的社会对话数据，在机器翻译框架里学习一个回答生成模型。最近，基于方法的神经网络成为主流趋势，因为它们可以抓住输入文本和回答之间的语义和语法关系。但是，聊天机器人的回答生成算法不仅要生成自然流利的回答，还要生成具有信息量的，有趣的回答。但是现存的机器翻译模型比如带注意力机制的 Seq2Seq 倾向于生成一些无意义的回答，比如“Me too”“I see”等。这种回答十分无聊也不含有任何有用的信息，很容易结束人机对话。

因此，为了生成有趣的富含信息量的回答，使人们不觉得与机器对话无聊。作者提出了一个 topic aware sequence-to-sequence (TA-Seq2Seq) 模型，利用话题信息作为作为先验知识，生成回答。给定一个输入信息，作者预测了可能会在回答中谈论到的话题，然后生成针对该话题的回应。这个想法是作者观察人们之间的交流而想到的。在人与人之间的交谈中，人们经常会将输入的信息与心中的话题相关概念联系起来。基于这些概念，人们组织内容并选取作为回答的单词。TA-Seq2Seq 是基于 sequence-to-sequence 框架构建的。在编码时，通过信息编码器将输入信息表示成隐向量，从预训练好的 Twitter LDA 模型得到输入信息的主题单词。使用对话数据之外的大规模社会数据集预先训练 Twitter LDA 模型。在解码阶段，通过联合注意机制，根据输入信息和话题，生成每个单词。联合注意机制，就是将输入信息的隐藏向量通过现有的 attention 机制表示成语境向量，然后将话题单词的 embeddings 通过话题注意机制合成为话题向量。与现存的注意不同，为了加强话题和输入信息的联系，话题注意会额外输入输入信息的最终状态，计算话题单词的权重。