COME2023

摘要

文本图像字幕旨在理解图像中的场景文本，以生成图像字幕。该任务的关键挑战是准确、全面地理解场景文本的OCR标记。由于场景文本的视觉和文本特征具有双重模态，准确表达OCR标记的多模态语义特征是一项具有挑战性的任务。此外，由于场景文本不能独立于特定对象而存在，并且总是与其周围环境相关联，因此建立以OCR标记为中心的场景图也是理解其与图像中其他对象关系的重要方法。

本文提出了一种新的文本图像字幕模型Clip-OCR和MasterObjEct。首先，我们介绍了一个CLIP-OCR模块来增强OCR令牌的多模态表示。我们将OCR表示分为视觉项和文本项，并通过对比学习缩小相似性。在CLIP-OCR模块的帮助下，我们实现了不同模态之间的相关性对齐。接下来，我们为每个OCR文本提出了主对象的概念，并用它来净化面向OCR的场景图。主对象被定义为OCR所附着的对象，它连接了OCR标记和图像之间的语义关系。我们将主对象视为连接OCR令牌和图像中其他区域的代理。通过探索每个OCR令牌的主对象，我们在主对象的基础上构建了一个纯化的场景图，然后通过图卷积网络（GCN）丰富了视觉嵌入。此外，我们对OCR令牌进行聚类，并在输入嵌入上附加层次信息，以提供完整的表示。在TextCaps验证集和测试集上的实验证明了所提出的框架的有效性。