TPAMI 2024 | 跨模态联合人体活动识别

Cross-Modal Federated Human Activity Recognition

题目：跨模态联合人体活动识别

作者：Xiaoshan Yang; Baochen Xiong; Yi Huang; Changsheng Xu

---

摘要

联邦人类活动识别（FHAR）因其在隐私保护方面的极大潜力而受到广泛关注。现有的FHAR方法可以基于不同本地客户端上分布的单模态或多模态数据协同学习一个全局活动识别模型。然而，在更常见的场景中，即本地数据来自不同模态，例如一些本地客户端可能提供运动信号，而其他客户端只能提供视觉数据，现有方法是否能够良好工作仍然值得怀疑。在本文中，我们研究了跨模态联邦人类活动识别（CM-FHAR）的新问题，这有助于促进在更多本地设备上大规模使用HAR模型。CM-FHAR至少有三个专门的挑战：1）分布式通用跨模态特征学习；2）模态依赖的区分特征学习；3）模态不平衡问题。为了解决这些挑战，我们提出了一种模态协作活动识别网络（MCARN），可以全面学习一个全局活动分类器，该分类器在所有客户端上共享，以及