2021：医学视觉问答的多元模型量化Multiple Meta-modal Quantifying for Medical Visual Question Answering

摘要

        转移学习是医学VQA中提取特征和战胜数据限制的重要一步，但现有的大多VQA模型依赖外部数据转移学习，而数据集内的元数据就不能充分利用。本文我们提出一种新的多元模型量化方法，能够有效学习元注释，并利用有意义的特征进行医学VQA任务。该方法通过自动注释增加元数据，处理噪声标签和输出元模型，这位医学VQA任务提供了鲁棒的特征。在两个公共医学VQA数据集上的实验结果表明，相比于其他最先进的方法，我们的方法取得了更好的精度，并且不需要外部数据训练元模型。

原文

代码

一、介绍

        提取图像特征是医学VQA框架中最重要的步骤之一，该框架能够输出基本信息来预测答案。转移学习在预训练的深度学习模型中是初始化特征提取过程的一种流行方法，该模型在大规模标签数据集如ImageNet上训练。由于ImageNet图像和医学图像的差异，微调还不够，最近Model Agnostic Meta-Learning(MAML)被提出，通过学习能够快速适应视觉概念的元权值来解决上述问题，但是MAML受到医学数据集中图像的元注释阶段的严重影响。医学图像的转移学习更具挑战性，原因在于：（1）以非监督方式对图像标签时可能出现噪声标签；（2）高级语义标签造成学习过程中的不确定性；（3）很难将此过程扩展到医学数据集的无标签图像。

        本文我们引入一种新的多元模型量化过程（MMQ）以解决MAML的问题。MML的设计：（1）通过自动标注有效增加元数据；（2）通过利用meta-agnostic过程中预测分数的不确定性来处理训练阶段的噪声标签；（3）输出包含下游医学VQA任务的鲁棒特征的元模型。与最近的医学VQA元学习方法[26]相比，MMQ并没有使用数据集外的图像，在两个医学VQA数据集上取得了优越的准确性。

二、相关工作

医学视觉问答

        医学视觉问答继承VQA在通用图像上的技术。此外，在[18,45,28,17]中，作者使用转移学习提取医学图像特征。最近，引入直接解决医学VQA的方法，包括推理、诊断模型行为、多模态融合、