image caption 方法综述（一）

image caption领域方法综述（一）

image caption领域自从引入了深度学习以后发展十分迅速，通过2015年到2020年发表的论文，我将image caption领域的方法分为4类：基于注意力机制、基于对抗生产网络、基于强化学习以及基于密集描述，本篇参考了论文 图像描述技术综述[J]. 计算机科学, 2020, 47(12): 149-160.，这一篇介绍第一部分：基于注意力机制的方法。

一、基于注意力机制

1、《Show, attend and tell: Neural image caption generation with visual attention》将注意力机制融入编码器-解码器框架进行图像描述，使模型效果得到很大的提升。(论文链接)

2、《Knowing when to look: Adaptive attention via a visual sentinel for image captioning》提出了自适应注意力机制模型 (Adaptive Attention)，该方法提出了 “视觉哨兵” (Visual Sentinel)的概念，即在LSTM 的隐藏层加入一个视觉哨兵向量，用来控制对非视觉词的生成，如介词、量词等。该方法使模型不仅依赖于图像信息，还依赖于句子的语义信息， 从而生成更加详细的描述句。(论文链接)

3、《Bottom-Up and Top-Down Attention for Image Captioning and Visual Question Answering》在注意力机制模型的基础上提出自上而下与自下而上相结合的注意力模型，该方法使用Faster R-CNN来代替原有的CNN 部分，过滤掉无用的图像特征，从而提高检测效率，在句子生成部分结合２个 LSTM 层来有选择性地提取图像局部特征。(论文链接)

4、《Auto-encoding scene graphs for image captioning》于 2019 年提出在注意力机制中嵌入场景图结构 (SGAE)作为句子重建网络,将图像通 过 检测网络得到的物体、属性、关系等生成场景图,再通过图卷积网络处理作为输入，送到已经利用SGAE结构预训练好的与编码器-解码器模型共享的字典当中，对产生的词向量进行转换重建，从而利用语料库实现了更加接近人类语言的图像描述。(论文链接)

5、《More Grounded Image Captioning by Distilling Image-Text Matching Mode》在 Up-Down的 基 础 上 融 入 图 文 匹 配 模 型 (Stacked Cross Attention Network, SCAN)《Stacked Cross Attention for Image-Text Matching》，对注意力机制 的训练过程进行弱监督,并且使用自关键序列训练算法(Self- Critical sequence training, SCST)《Self-critical sequence training for image captioning》对图像和文本的匹配程度进行强化学习，增强了注意力机制对单词和图像区域的对应能力，从而生成更加合理的描述。(论文链接)

6、《Show, control and tell: A frame work for generating controllable and grounded captions》在自适应注意力模型的基础上，通过加入控制序列 (或图像区域集合)来增强模型对输出的图像描述的可控性和多样性。(论文链接)