注1:本文系“无线感知论文速递”系列之一,致力于简洁清晰完整地介绍、解读无线感知领域最新的顶会/顶刊论文(包括但不限于Nature/Science及其子刊;MobiCom,Sigcom,MobiSys,NSDI,SenSys,Ubicomp;JSAC,雷达学报等)。
本次介绍的论文是: MobiSys’23, Harmony: Heterogeneous Multi-Modal Federated Learning through Disentangled Model Training
MobiSys’23 | Harmony : 通过解耦模型训练的异构多模态联邦学习
随着多模态传感系统在自动驾驶、健康监测等领域的广泛应用,如何在保护用户数据隐私的前提下,让不同用户的设备协同训练一个鲁棒的多模态模型,成为一个关键的研究课题。本文提出了一种新型的异构多模态联邦学习系统Harmony,其核心思想是将多模态模型训练解耦为两阶段:模态化联邦学习和联邦融合学习。
💡研究背景
多模态学习通过融合不同类型传感器的数据(图像、语音、雷达等),可以获得比单一模态更强大的模型。但是大多数多模态学习方法需要收集用户的数据到中央服务器,这给用户的隐私带来很大风险。
联邦学习(Federated Learning, FL)作为一种新兴的分布式机器学习范式,可以在保护数据隐私的前提下,让用户的设备协同训练一个全局模型。但是,现有的联邦学习方法主要针对单一数据模态(图像、语音等),而没有考虑用户设备异构多模态数据带来的挑战。具体来说,不同用户设备上可用的传感器类型和数量可能不同,这导致严重的模型发散问题,降低了联邦学习的模型精度。
本文Harmony系统首次提出将多模态模型训练解耦为两个阶段,即