基于改进Transformer的多尺度图像描述生成

摘要

Transformer模型被广泛应用于图像描述生成任务中，但存在以下问题：①依赖复杂神经网络对图像进行预处理；②自注意力具有二次计算复杂度；③Masked Self-Attention缺少图像引导信息。为此，提出改进Transformer的多尺度图像描述生成模型。首先，将图像划分为多尺度图像块以获取多层次图像特征，并将其通过线性映射作为Transformer的输入，避免了复杂神经网络预处理的步骤，从而提升了模型训练与推理速度；其次，在编码器中使用线性复杂度的记忆注意力，通过可学习的共享记忆单元学习整个数据集的先验知识，挖掘样本间潜在的相关性；最后，在解码器中引入视觉引导注意力，将视觉特征作为辅助信息指导解码器生成与图像内容更为匹配的语义描述。在COCO 2014数据集上的测试结果表明，与基础模型相比，改进模型在CIDEr、METEOR、ROUGE和SPICE指标分数方面分别提高了2.6、0.7、0.4、0.7。基于改进Transformer的多尺度图像描述生成模型能生成更加准确的语言描述。

关键词

图像描述; Transformer模型;