（六十）：Show, Attend and Tell Neural Image Caption Generation with Visual Attention

• 出处： ICML 2015: 2048-2057
• 代码：https://github.com/sgrvinod/a-PyTorch-Tutorial-to-Image-Captioning
• 题目：用视觉注意生成神经图像标题
• 主要内容：我们引入了一个基于注意力的模型，自动学习描述图像的内容，使用BLEU和METEOR度量在三个基准数据集上给出最新的性能。

Abstract

受最近机器翻译和目标检测工作的启发，我们引入了一个基于注意力的模型，自动学习描述图像的内容。我们描述了如何使用标准的反向传播技术以确定性的方式训练这个模型，并通过最大化一个变分下界来随机地训练这个模型。

• 我们还通过可视化展示了该模型如何在生成输出序列中相应的单词的同时，自动学习将目光固定在显著的目标上。
• 我们在三个基准数据集上验证了使用最先进的性能：Flickr8k, Flickr30k和MS COCO。

1. Introduction

自动生成图像的标题：是一项非常接近场景理解的核心任务——计算机视觉的主要目标之一。标题生成模型不仅必须足够强大，以解决计算机视觉中确定图像中的对象的挑战，而且还必须能够捕捉和表达它们之间的关系，以一种自然语言。
因此，标题生成一直被视为一个难题。这对机器学习算法来说是一个非常重要的挑战，因为它相当于模仿人类将大量显著的视觉信息压缩成描述性语言的非凡能力。

尽管这项任务具有挑战性，但最近对攻击图像标题生成问题的研究兴趣激增。在训练神经网络(Krizhevsky et