多模态|增强多模式学习:元学习跨模式知识提炼以处理缺失模式
缺少重要模态 / 元学习 / 知识蒸馏 / 自适应估计模态权重 /在多模态学习中,某些模态比其他模态更具影响力,它们的缺失可能会对分类/分割准确性产生显著影响。因此,一个重要的研究问题是,即使在输入数据中缺少重要的模态,训练好的多模态模型是否可能具有高准确性。本文提出了一种称为元学习跨模态知识蒸馏(MCKD)的新方法来解决这个研究问题。MCKD通过元学习过程自适应地估计每个模态的重要性权重。
原创
2024-05-17 13:23:08 ·
868 阅读 ·
0 评论