论文-《Visual Question Answering A tutorial》笔记

重点翻译拓展

论文下载

主题：

本文主要介绍了该领域正在进行的工作以及基于深度学习的VQA如今的方法。

 

正文：

1.研究VQA的原因：

（1）计算机视觉方面，需要根据算法从图像中提取高水平的数据并进行推理分析，VQA作为最初图灵测试或者图像字幕的替代任务出现。

（2）VQA如果发展成熟，可以独立应用于生活。

 

2.VQA答案形式：

（1）开放式回答，包含了较为复杂句式，并且机器生成的答案和正确答案可能会有同义替换释义之类的问题。

（2）多选项式回答，提供了一组候选答案，相比开放式回答要容易，并且验证也更加容易。

 

3.VQA与Image captioning 区别：

   两个方向都是跨计算机视觉和自然语言处理领域的方向，但是还是有以下区别

（1）Image captioning更多的要求描述性能，这几乎涉及纯粹的视觉信息，答案不固定，是一种开放式回答。

（2）VQA除了要求对图像和文本信息的提取，然后通过常识和给定图片中不存在的其它信息进行推理，答案格式不唯一。

 

4.数据集：

（1）VQA-Real，VQA-Abstract

目前应用最广泛的数据集是由弗吉尼亚理工大学的一个研究团队提出的，通常被称为VQA，后更新为VQA v2.0。其中包含对应同一问题有着不同答案的相似图像对。每个问题对应着两个相似、但却需要不同回答的图片，并且它也包括两部分，第一部分使用自然真实图片，被称为VQA-real，第二部分使用人工拼接图片，被称为VQA-abstract.