（八十二）：Multimodal Transformer with Multi-View Visual Representation for Image Captioning

• 出处： IEEE Trans. Circuits Syst. Video Technol. 30(12): 4467-4480 (2020)
• 代码：
• 题目：多模态Transformer与多视图视觉表示图像字幕
• 主要内容：提出了一种新的多模态变压器(MT)框架用于图像字幕。引入了多视图学习，并提出了两种MT变体MTamv和MTumv，分别对对齐的多视图特征和未对齐的多视图特征进行建模。

Abstract

摘要图像字幕旨在自动生成对给定图像的自然语言描述，目前最先进的模型都采用了编码器-解码器框架。
该框架包括一种基于卷积神经网络(CNN)的图像编码器，该编码器从输入图像中提取基于区域的视觉特征;一种基于循环神经网络(RNN)的字幕解码器，该解码器基于视觉特征并具有注意机制生成输出字幕词。
尽管已有的研究取得了成功，但目前的方法只模拟了表征模态间相互作用的共同注意，而忽略了表征模态内相互作用的自我注意。受Transformer模型在机器翻译中的成功启发，本文将其扩展到用于图像字幕的多模态Transformer (MT)模型。与现有的图像标注方法相比，MT模型同时捕获了一个统一注意块内的模态和模态间的相互作用。由于这些注意块的深度模块化构成，MT模型可以进行复杂的多模态推理，输出精确的字幕。此外，为了进一步提高图像配字性能，将多视图视觉特征无缝地引入到MT模型中。我们使用基准的MSCOCO图像字幕数据集，对我们的方法进行了定量和定性的评估，并进行了广泛的消融研究，以调查其有效性背后的原因。实验结果表明，该方法明显优于以往的方法。我们的解决