论文-《Visual Question Answering A tutorial》笔记

重点翻译拓展

论文下载

主题：

本文主要介绍了该领域正在进行的工作以及基于深度学习的VQA如今的方法。

 

正文：

1.研究VQA的原因：

（1）计算机视觉方面，需要根据算法从图像中提取高水平的数据并进行推理分析，VQA作为最初图灵测试或者图像字幕的替代任务出现。

（2）VQA如果发展成熟，可以独立应用于生活。

 

2.VQA答案形式：

（1）开放式回答，包含了较为复杂句式，并且机器生成的答案和正确答案可能会有同义替换释义之类的问题。

（2）多选项式回答，提供了一组候选答案，相比开放式回答要容易，并且验证也更加容易。

 

3.VQA与Image captioning 区别：

   两个方向都是跨计算机视觉和自然语言处理领域的方向，但是还是有以下区别

（1）Image captioning更多的要求描述性能，这几乎涉及纯粹的视觉信息，答案不固定，是一种开放式回答。

（2）VQA除了要求对图像和文本信息的提取，然后通过常识和给定图片中不存在的其它信息进行推理，答案格式不唯一。