【医疗视觉问答】Medical Visual Question Answering via Conditional Reasoning

原文标题：Medical Visual Question Answering via Conditional Reasoning
原文链接：https://scholar.lanfanshu.cn/pay/payonline
原文代码：https://github.com/awenbocc/med-vqa
发布年度：2020年
发布期刊：ACM

---

简要描述

在本文中，我们开发了一个问题条件推理模块来指导对多模态融合特征的重要性选择。考虑到封闭式和开放式Med-VQA任务的不同性质，我们进一步提出了一个类型条件推理模块，分别为两种类型的任务学习一套不同的推理技能。我们的条件推理框架可以很容易地应用于现有的Med-VQA系统，从而带来性能提升。

---

背景

目前大多数的Med-VQA只考虑了改进特征提取模块，而对于解决高级推理任务至关重要的推理模块仍未得到充分的探索。

在本文中，我们专注于改进Med-VQA的推理模块，我们设计了一种新的推理框架，赋予Med-VQA系统任务自适应推理能力。具体来说，我们提出了一个问题条件推理(QCR)模块来指导多模态融合特征的调制。本质上，我们的QCR模块允许Med-VQA系统学习和应用不同的推理技能，根据问题找到正确的答案。这不仅通过考虑多模态特征的组合，而且还通过对融合表示的额外转换来识别特定于问题的推理信息来实现。此外，为了进一步模拟开放式和封闭式任务所需推理技能的差异，我们提出了一种任务条件推理(TCR)策略，以相应地考虑这两种类型的任务。
在本文中，BAN 也用于我们提出的框架中的跨模态特征融合。