【Image captioning】论文阅读五—Towards local visual modeling for image captioning(PR期刊)

1. 引言

在本文中，我们研究了用于图像字幕的具有网格特征的局部视觉建模，这对于生成准确和详细的字幕至关重要。为了实现这一目标，我们提出了一种具有两种新颖设计的局部敏感变换网络（LSTNet），即局部敏感注意力（LSA）和局部敏感融合（LSF）。 LSA 通过对每个网格与其邻居之间的关系进行建模来部署 Transformer 中的层内交互。它降低了字幕过程中局部物体识别的难度。 LSF用于层间信息融合，聚合不同编码器层的信息以实现跨层语义互补。通过这两种新颖的设计，所提出的 LSTNet 可以对网格特征的局部视觉信息进行建模，以提高字幕质量。为了验证 LSTNet，我们在竞争性的 MS-COCO 基准上进行了广泛的实验。实验结果表明，LSTNet 不仅能够进行本地视觉建模，而且在离线和在线测试中都优于一系列最先进的字幕模型，即分别为 134.8 CIDEr 和 136.3 CIDEr。此外，LSTNet 的泛化性也在 Flickr8k 和 Flickr30k 数据集上得到了验证。源代码可在 GitHub 上获取：