【CVPR2022】DIFNet: Boosting Visual Information Flow for Image Captioning

【CVPR2022】DIFNet: Boosting Visual Information Flow for Image Captioning

附：
论文下载: 论文下载
源码链接: 源码链接

论文主要贡献

1. 提出了一个双信息流网络(DIFNet )，它将分割特征作为一个附加的视觉信息源。DIFNet可以增强视觉内容对预测的贡献。
2. 提出了一个称为迭代独立层归一化(IILN)的特征融合模块，它可以通过一个公共LN层压缩最相关的输入，同时通过私有LN层重新训练每个流中的特定于通道的信息。

引言

图像描述是基于给定图像生成自然语言描述的任务。它需要一个模型来从多个方面理解给定的图像，包括识别对象、动作以及关系，并为该图像生成语言描述。标准范例可以表述为：$$y_t={\mathcal{F}}_l(E_v(V),w_0,w_1,w_2,...,w_{t-1})$$其中$y_t$表示预测结果，$E_v$表示视觉编码器，$\mathcal{F}$