TPAMI 2024 | 鲁棒多模态学习与缺失模态通过参数高效适应

论文信息

题目：Robust Multimodal Learning with Missing Modalities via Parameter-Efficient Adaptation

鲁棒多模态学习与缺失模态通过参数高效适应

作者：Md Kaykobad Reza; Ashley Prater-Bennette; M. Salman Asif

论文创新点

• 1 参数高效的适应过程：论文提出了一个简单且参数高效的适应过程，用于预训练的多模态网络以处理测试时缺失的模态。这种方法只需要极少的额外参数（例如，少于总参数的1%），与为每种模态组合训练独立网络相比，大大减少了参数数量。
• 2 中间特征调制：通过调制中间特征来补偿缺失模态的影响，该方法利用简单的线性变换（如缩放和平移）来调整网络的内部特征表示，以适应缺失模态的情况，这在多模态学习领域是一种新颖的方法。</