VQA的应用（调研）

链接：https://blog.csdn.net/z704630835/article/details/114689816

1. 医疗VQA（Medical VQA）
VQA能够帮助诊断，给出医疗建议。目前这项工作最早是2018年的：Medical Domain Visual Question Answering pilot task, as described in Hasan et al. (2018)。其公开的med-VQA数据集包括2866张图片和6413个Q&A。之后是ImageCLEF 2019 edition (Abacha et al. (2019))数据集，4200张放射图和15992个QA。近期又有两个数据集VQA-RAD presented in Lau et al. (2018), and PathVQA described in He et al. (2020)，他们提高了VQA训练和测试样本的多样性。

目前做医疗VQA的方法，大多是在多模态合成和数据集增广上做改进，一些经典的网络包括Cross Facts Network，ETM-Trans，还有一些用到协同注意力的模型等

2. 视觉受损人群的VQA（VQA for visually impaired people）
对于具有视觉障碍的人，VQA的问题应该主要是关注于日常的。从这个角度出发，目前也有相关的数据集公开 ，比如Gurari et al. (2018)公开了数据集包含31000个盲人提的问题；Bigham et al. (2010b)还做了一个叫VizWiz的iphone的app，能够快速响应用户的问题。

方法方面，Anderson et al. (2018)用了BuTd；Weiss et al. (2019)使用了强化学习来对盲人进行街景导航。

3. 视觉监管场景中的VQA（VQA in Video Surveillance scenarios）
VQA在视频监管场景中的应用可以更好的帮助操作者来理解场景，并快速做出准确的决策。Li et al., 2019提出了一个ISEE平台来解析视频监管数据，该平台包含三个模块，检测追踪模块，属性识别模块，再识别模块。Toor et al. (2019a)提出了C2VQA-BOARS。

4. 教育和文化遗产中的VQA（VQA Education and cultural heritage）
VQA与人类感受是高度相关的。He et al. (2017)设计了一个教育机器人，它使用VQA来规范化问题，并且能够进行教育对话。Bongini et al. (2020)提出用VQA在博物馆和艺术展览中进行音频交互；(Stefanini et al., 2019)提出了一个文化数据集Artpedia。

5. 广告VQA（VQA and Advertising）
广告和图像理解是密切相关的。Hussain et al. (2017)提出了两个广告数据集，一个是图像，另一个是视频，图像包含64832张广告，总计有202090个Q&A。Park et al. (2019)则关注于预测用户的偏好，以及什么能够使得用户印象深刻，因此建立Real-ad数据集，其包含3747张图片，并有超过了5亿个印象。最后还有利用VQA来做广告设计的，Zhou et al. (2020)提出了一种能够提取文本和图像相关信息的方法，并生成一个新的广告，他使用的是跨模态编码器（cross-modality encoder architecture）。

6. 未来的挑战（Emerging challenges/Misc）
这里作者提到了一些点。比如对360°的全景影像设计VQA；比如多源VQA数据的融合；比如long-video QA is unexplored；扩展听觉感知和问答；以及模型自助对错误回答的问题进行编辑；利用外部知识来回答未知问题；VQG问题等。