Towards VQA Models That Can Read 论文解说

文章链接: https://arxiv.org/abs/1904.08920?context=cs.

前言

VQA取得了巨大的进步。但是今天的VQA模型在需要阅读的问题上惨败!这很讽刺，因为这些正是视力受损的用户经常向他们的辅助设备提出的问题。研究表明，视障用户对周围环境图像提出的主要问题包括阅读图像中的文本。但是现有的VQA模型不能读取!该文朝着解决这个问题迈出了第一步。
主要贡献：
（1）引入了一个新的数据集(TextVQA)，其中包含需要模型读取的问题和对要回答的图像中的文本进行推理的问题。
（2）提出了“看、读、推理和回答”(LoRRA):一种新型的模型架构，回答问题时在OCR系统的输出上明确的进行推理。
（3）在TextVQA数据集上，LoRRA优于现有的最先进的VQA模型。

TextVQA问题要求VQA模型理解嵌入在图像中的文本，以便正确地回答它们。绿色表示正确答案，红色表示由最先进的VQA模型预测(Pythia)预测的答案。显然，目前的VQA模型无法回答涉及阅读和推理图像文本的问题。因此，本文的重点是赋予视觉问题回答(VQA)模型一种新的能力——在图像中阅读文本并通过对文本和其他视觉内容进行推理来回答问题的能力。

1. LoRRA模型

该模型包含三个组件:
(i)一个基于image v 和q