（七十五）：Bangla Image Caption Generation through CNN-Transformer based Encoder-Decoder Network

• 出处：CoRR abs/2110.12442 (2021)
• 代码：https://github.com/pioneerAlpha/BanglaImageCaptioning
• 题目：通过基于CNN-Transformer的编码器-解码器网络生成孟加拉图像标题
• 主要内容：感觉文章很水，利用图像描述的数据集不同，翻译为Bangla孟加拉语言，模型还是Transformer基础架构。（看完有些浪费时间的感觉，不过这篇文章有代码可以看一下。）

Abstract

自动图像标注是一种持续不断的工作，它以自然语言和上下文为图像创建语法和验证文本描述的准确性。现有的孟加拉语图像标注(BIC)研究中使用的编码器-解码器结构利用抽象图像特征向量作为编码器的输入。
我们提出了一种新颖的基于变压器的架构，该架构具有注意机制，使用预训练的ResNet-101模型图像编码器进行图像特征提取。
实验表明，我们技术中的局域语言解码器捕获标题中的细粒度信息，然后与图像特征配对，在BanglaLekhaImageCaptions数据集上生成准确和多样化的标题。我们的方法优于所有现有的孟加拉语图像字幕工作，并设置了一个新的基准，在BLEU-1上得分0.694，在BLEU-2上得分0.630，在BLEU-3上得分0.582，在METEOR上得分0.337。

1. Introduction

描述的目的是在文本中描述图像的实质。许多字幕算法现在遵循编码器-解码器的架构，解码器基础架构可以使用通过编码网络的注意方法检索到的函数来预测单词。