视觉问答简述

视觉问答（Visual Question Answering,VQA）是一项结合计算机视 觉和自然语言处理的学习任务。计算机视觉主要是对给定图像进行处 理，包括图像识别，图像分类等任务。自然语言处理主要是对自然语言， 文本形式的内容进行处理以及理解，包括机器翻译，信息检索，生成文 本摘要等任务。视觉问答是需要对给定图像和问题进行处理，经过一定 的视觉问答技术处理过后生成自然语言答案，是对二者的结合。

目前VQA比较先进方法包括（1）基于融合的方法：MUTAN和BLOCK；（2）基于注意力的方法：DFAF和MLIN；（3）视觉推理方法：Counting、Dual-MFA和Graph；（4）其他VQA方法：MuRel 等。

VQA提出了一系列丰富的挑战，其中许多挑战被视为自动图像理解和通用人工智能的皇冠。同时，它包括了CV、NLP和KR社区在过去几十年中取得了重大进展的几个组成部分。VQA在推动SOTA和让社区开始在任务上取得进展提供了一个有吸引力的平衡。