Cycle-Consistency for Robust Visual Question Answering阅读笔记

近日看了一篇CVPR的文章：《Cycle-Consistency for Robust Visual Question Answering》，即“用于鲁棒性视觉问答的循环一致性模型”。

感兴趣的同学可参考原文：Cycle-Consistency for Robust Visual Question Answering

目录

一.abstract

二.文章精读

2.1Introduction

2.2相关工作

2.3方法

2.4. VQA-Rephrasings数据集

三.实验

---

一.abstract

首先，鲁棒性之含义：

鲁棒性(robustness:健壮性|抗变换性):统计学中的专业术语,自20实际70年代初开始在控制理论的研究中流行起来,用来体现控制系统在一定(结构,大小)特性或参数扰动|摄动的情况下维持系统的某些满意性能的不敏感性|健壮性,使系统在异常或危险情况下生存的关键.因此鲁棒控制方法适用于稳定性和可靠性作为首要目标的应用,同时过程的动态特性已知且不确定其变化范围并可以预估的应用.根据对性能的不同定义，可分为稳定鲁棒性和性能鲁棒性。以闭环系统的鲁棒性作为目标设计得到的固定控制器称为鲁棒控制器。比如说，计算机软件在输入错误、磁盘故障、网络过载或有意攻击情况下，能否不死机、不崩溃，就是该软件的鲁棒性。

总结来说：

    一是模型具有较高的精度或有效性，这也是对于机器学习中所有学习模型的基本要求；

    二是对于模型假设出现的较小偏差，只能对算法性能产生较小的影响；   

           主要是：噪声（noise）

    三是对于模型假设出现的较大偏差，不可对算法性能产生“灾难性”的影响。  

          主要是：离群点（outlier）

这些年VQA已经取得了一些进步，但是VQA的鲁棒性问题却鲜有关注。作者介绍了一个新的评估思路和数据集VQA-Rephrasings。数据集VQA-Rephrasings来自于VQAv2，是对40万个问题改述生成的40万张图的描述。为了改善VQA的鲁棒性，作者提出了使用循环一致性的model-agnostic框架。模型不仅能够回答问题，还能够根据答案生成问题。在没有使用另外的标注信息，基于VQA-Rephrasings数据集的结果表明该模型比其他的VQA模型更具有鲁棒性。

二.文章精读

2.1Introduction