Recurrent fusion network for image captioning.
ECCV 2018.
W. Jiang, L. Ma, Y.-G. Jiang, W. Liu, and T. Zhang.
问题
现有的基于该框架的模型仅采用了一个cnn,仅从一个特定的角度描述图像内容。因此,不能全面理解输入图像的语义,不能生成更好的描述。
思路
从多个cnn编码器中提取不同的表示,更丰富、更全面,信息互补。然后融合,传入decoder。(RFNet)。
融合过程利用encoder输出之间的交互,为decoder生成紧凑而有信息的表示。
方法
Recurrent Fusion Network (RFNet)
![](https://i-blog.csdnimg.cn/blog_migrate/45ca8967f284740f83b0d42a74dd012c.png)