2021：医学视觉问答的多元模型量化Multiple Meta-modal Quantifying for Medical Visual Question Answering

摘要

        转移学习是医学VQA中提取特征和战胜数据限制的重要一步，但现有的大多VQA模型依赖外部数据转移学习，而数据集内的元数据就不能充分利用。本文我们提出一种新的多元模型量化方法，能够有效学习元注释，并利用有意义的特征进行医学VQA任务。该方法通过自动注释增加元数据，处理噪声标签和输出元模型，这位医学VQA任务提供了鲁棒的特征。在两个公共医学VQA数据集上的实验结果表明，相比于其他最先进的方法，我们的方法取得了更好的精度，并且不需要外部数据训练元模型。

原文

代码

一、介绍

        提取图像特征是医学VQA框架中最重要的步骤之一，该框架能够输出基本信息来预测答案。转移学习在预训练的深度学习模型中是初始化特征提取过程的一种流行方法，该模型在大规模标签数据集如ImageNet上训练。由于ImageNet图像和医学图像的差异，微调还不够，最近Model Agnostic Meta-Learning(MAML)被提出，通过学习能够快速适应视觉概念的元权值来解决上述问题，但是MAML受到医学数据集中图像的元注释阶段的严重影响。医学图像的转移学习更具挑战性，原因在于：（1）以非监督方式对图像标签时可能出现噪声标签；（2）高级语义标签造成学习过程中的不确定性；（3）很难将此过程扩展到医学数据集的无标签图像。

        本文我们引入一种新的多元模型量化过程（MMQ）以解决MAML的问题。MML的设计：（1