【视觉对话】DAM: Deliberation, Abandon and Memory Networks for Generating Detailed

原文标题：DAM: Deliberation, Abandon and Memory Networks for Generating Detailed and Non-repetitive Responses in Visual Dialogue
原文链接：https://arxiv.org/pdf/2007.03310
原文代码： https://github.com/JXZe/DAM
发布年度：2020年
发布期刊：IJCAI-20

---

简要描述

一种新颖的生成解码架构来生成高质量的响应。整合整体级别的全局语义信息和词级别的局部语义信息，来生成答案。全局语义负责保证生成回复的整体语义的连贯性和准确性，局部语义负责捕获当前生成的词的特有的语义信息。

---

背景

生成视觉对话系统的典型解决方案是基于编码器-解码器框架。编码器旨在通过嵌入捕获图像、问题和对话历史的语义，而解码器通过循环神经网络工作 (RNN)将这些嵌入解码为响应。由于生成难度，以往的大多数工作都专注于设计更全面的编码器结构，以利用输入中信息的不同方面。尽管这些方法取得了可喜的改进，但它们仍然有明显的局限性，例如生成不准确的细节和重复的单词或短语。

一方面，DAM 在响应级别合并了全局信息以保持语义一致性。另一方面，DAM 通过设计当前生成词引导的 Deliberation 单元来关注捕获单词级别的相关和独特细节。为了进一步减少重复，我们设计了 Abandon Unit 来为当前单词选择唯一信息。最后，记忆单元将派生的词级和响应级语义集成到记忆状态中进行词生成，有助于语义连贯性的统一和细节的丰富性。