​ICML 2023 | 可证明的动态多模态融合框架：一个简单而有用的理论

©PaperWeekly 原创 · 作者 | 张庆阳

单位 | 天津大学智能与计算学部

研究方向 | 多模态机器学习

方法动机

多模态融合是多模态学习领域的基础问题。近年来，多模态动态融合在复杂场景的感知任务上取得了瞩目的效果。如自动驾驶领域中装配多种传感器的无人车、智能医疗领域中的各种临床检测数据。但现实世界中往往存在大量的低质量多模态数据：噪声、缺失模态，不平衡的多模态数据。

传统的融合方法往往忽略了由于环境因素、潜在传感器故障而导致的质量不可靠问题。近年来，相关研究者认为引入动态融合机制是获得可靠多模态预测的一种可行的途径。例如在自动驾驶中，一些学者提出根据不同的光照条件动态调整 RGB 和近红外图像的融合方式以提高系统的鲁棒性。

然而，这些动态融合方法发挥作用的机理一直是悬而未决的开放性问题：为什么动态融合优于广泛应用的静态融合？符合什么条件的动态性是多模态融合的保障？

针对上述问题，被 ICML 2023 录用的工作给出了相关的理论分析和证明（Provable Dynamic Fusion），明确给出了多模态融合问题中实现有效动态性的前提条件，指明了不确定性估计和多模态融合任务之间的关联。基于上述理论分析所设计的“基于质量的动态多模态融合方法”（Quality-aware Multimodal Fusion）在多个数据集上取得了优异性能。

论文链接：

http://arxiv.org/abs/2306.02050

代码链接：

https://github.com/QingyangZhang/QMF