VQA视觉问答系列1-----概述

开始写博客的时候比较有新鲜感，能坚持记录一些学习的过程、课程的随笔等等。后来忙着保研，忙完以后也一直懒得再更新博客，直到用github做了一个个人主页以后，才想着来给博客除除草。因为毕设要做VQA，读了很多相关论文，想着可以做一个系列，每篇博客记录几篇论文。

VQA（可视化问答）

形式：给一张图片和相关的问题，给出答案。cv和nlp的结合，一种难度较高的跨模态任务。
解码答案主要有两种不同的方式：一种将找到答案视为分类任务，由完全连接层生成输出并传入覆盖所有可能答案的 softmax 函数；一种是用比如lstm的解码器来生成答案。

常用数据集

DAQUAR 早期的真实世界图像问答数据集。
VQA（1.0, 2.0） 取自COCO数据集，包含真实图像和生成卡通图像，每张图片大约有3个问题，每个问题约有10个答案，2.0版本数据集降低了bias，是VQA challenge使用的数据集，有三类答案，对错、数量、其他。
Visual Genome 10万张图片，170万个问答对，每张图片有丰富的区域注释描述。问题类型多样，what，where，how，who，why，when。
Visual Madlibs 使用模板和对象信息自动生成描述性的填空