ICCV 2019 《Robust Change Captioning》论文笔记（数据集）

简介

本文出自加州大学伯克利分校。这篇文章既不是image captioning，也不是video captioning，而是change captioning，就是针对pair image生成caption。
下载链接

动机

发现image pair中发生了什么变化是很重要的，但是模型应该具备区分distractors（如：光照变化、视角变化）和changes（物品被移动）的能力。

贡献

1. 提出CLEVR-Change数据集，用于训练change captioning。
2. 提出了一个用于change captioning的方法，可以区分distractors和changes，取得了不错的实验结果。

方法

本文方法也简洁明了，如下图所示，分为Dual Attention和Dynamic Speaker两个模块。

本文在构造image pair时，考虑了两种数据。①image pair只存在光照/视角变化；②在光照/视角变化的前提下，加入场景变化。场景变化主要包括五种，分别是：颜色变化、材质变化、添加物品、丢弃物品、移动物品。

实验

实验结果

结果展示