SIGIR 2019 开源论文 | 用户注意力指导的多模态对话系统

作者丨张琨

学校丨中国科学技术大学博士生

研究方向丨自然语言处理

论文动机

对话系统一直是自然语言理解领域一个重要的研究内容，它可以使人们更便捷的与机器进行交互，多模态的对话系统就是其中非常重要的一个研究方向。

以下图的零售业对话为例，首先多模态对话能够带给顾客更加详细直观的建议，通过加入图片信息，顾客能够更加直接的表达出自己的观点；同时，通过顾客的关注点，例如颜色，样式等，对话机器人能够更清楚的获取顾客的偏好，从而最终为顾客提供符合其要求的推荐内容，提升顾客的满意度。

基于这样的一个想法，本文作者针对任务型对话系统，提出了用户注意力指导的多模态对话系统。

模型

具体而言，在任务型对话系统中，作者希望利用用户的注意力信息实现对产品的层次化选择，在每一个不同的层次关注到不同的产品特点，通过细化的区分实现精准的产品推荐。模型的整体框架图如下：

该框架主要完成两个任务：文本回复生成与图像回复选择。多模态编码器和解码器用于编解码多模态的内容信息，同时由一个高层次的 RNN 控制整个对话进程。接下来，将详细讲述每个部分的相关细节。

多模态编码器

该模块主要用于编码文本信息和图像信息，生成情境感知的语义内容表示。针对文本内容，考虑到不同的文本对最终的语义表达贡献不同，作者在这里使用了基于 CNN 的注意力机制，具体由以下公式实现：