MobiSys’23 | Harmony: Heterogeneous Multi-Modal Federated Learning through Disentangled Model Train

注1:本文系“无线感知论文速递”系列之一,致力于简洁清晰完整地介绍、解读无线感知领域最新的顶会/顶刊论文(包括但不限于Nature/Science及其子刊;MobiCom,Sigcom,MobiSys,NSDI,SenSys,Ubicomp;JSAC,雷达学报等)。
本次介绍的论文是: MobiSys’23, Harmony: Heterogeneous Multi-Modal Federated Learning through Disentangled Model Training

MobiSys’23 | Harmony : 通过解耦模型训练的异构多模态联邦学习

随着多模态传感系统在自动驾驶、健康监测等领域的广泛应用,如何在保护用户数据隐私的前提下,让不同用户的设备协同训练一个鲁棒的多模态模型,成为一个关键的研究课题。本文提出了一种新型的异构多模态联邦学习系统Harmony,其核心思想是将多模态模型训练解耦为两阶段:模态化联邦学习和联邦融合学习。

💡研究背景

多模态学习通过融合不同类型传感器的数据(图像、语音、雷达等),可以获得比单一模态更强大的模型。但是大多数多模态学习方法需要收集用户的数据到中央服务器,这给用户的隐私带来很大风险。

联邦学习(Federated Learning, FL)作