（六十八）：From Show to Tell: A Survey on Image Captioning

• 出处：CoRR abs/2107.06912 (2021)
• 代码：
• 题目：
• 主要内容：

Abstract

视觉与语言的连接在生成智能中起着至关重要的作用。由于这个原因，大量的研究致力于图像的字幕，即用语法和语义上有意义的句子来描述图像。
从2015年开始，这个任务通常通过管道来解决，管道由一个视觉编码器和一个用于文本生成的语言模型组成。在这些年中，这两个组件通过对象区域、属性、多模态连接的引入、全注意的方法和类似bert的早期融合策略得到了很大的发展。然而，不管这些令人印象深刻的结果如何，关于图像配字幕的研究还没有得出一个结论性的答案。
这项工作旨在提供图像字幕方法的全面概述，从视觉编码和文本生成到训练策略、数据集和评价指标。
在这方面，我们定量地比较了许多相关的最先进的方法，以确定在架构和培训策略中最具影响力的技术创新。
此外，还讨论了该问题的许多变体及其开放性挑战。这项工作的最终目标是作为一种工具来理解现有的文献，并突出计算机视觉和自然语言处理可以找到最佳协同的研究领域的未来方向。

1. Introduc