ICLR 2023 | MocoSFL: 低成本跨用户联邦自监督学习

最新推荐文章于 2025-02-21 09:55:02 发布

PaperWeekly

最新推荐文章于 2025-02-21 09:55:02 发布

阅读量1.1k

点赞数 1

文章标签：学习人工智能机器学习深度学习计算机视觉

本文链接：https://blog.csdn.net/c9Yv2cf9I06K2A9E/article/details/129543257

版权

本文介绍了MocoSFL，一种结合Split Federated Learning（SFL）和MoCo对比学习的技术，用于解决跨用户联邦自监督学习中计算资源和数据量的挑战。通过在服务器端合并用户端的潜在向量，共享特征存储器和增加同步频率，MocoSFL在减少计算需求的同时，实现了高效的数据利用。实验结果表明，MocoSFL在跨用户和跨企业场景下均表现出高精度，且在硬件资源受限的设备上可行。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

©PaperWeekly 原创 · 作者 | 李竞涛

单位 | 亚利桑那州立大学博士生

研究方向 | 联邦学习，机器学习隐私

十分荣幸我们的近期工作被 2023 International Conference on Learning Representations 接收为 Oral Paper（TOP 5% notable）！本文探讨了联邦自监督学习在边缘设备上的解决方案，欢迎更多感兴趣的小伙伴们关注、深挖这一有潜力的方向。

论文标题：

MocoSFL: enabling cross-client collaborative self-supervised learning

论文作者：

Jingtao Li, Lingjuan Lyu, Daisuke Iso, Chaitali Chakrabarti, Michael Spranger

作者单位：

Arizona State University (1st, 4th), **Sony AI** (2nd, 3rd, 5th，通讯单位)

文章链接：

https://openreview.net/forum?id=2QGJXyMNoPz

背景

协作学习中的数据标注难题。协作学习的深度学习方案变得越来越受欢迎，因为用户可以在不共享本地私人数据的情况下训练模型并获得性能提升，从而规避 GDPR 等隐私政策。目前，协作学习主要集中在数据有标注的监督学习应用上。然而在实践中，标记需要专业知识和时间投入，对于普通用户很难执行。

当前的解决方案：联邦自监督学习。联邦学习（FL）是当下最流行的协作学习方案。其中，最具代表性的算法是“FedAvg”，用户端（Client）将其本地模型的副本发送到服务器（Server），服务器执行加权平均操作（权重取决于数据量）以获得新的全局模型。

于是，面对标注数据的难题，zhuang2022ICLR [1] 提出了一种新的联邦自监督学习，使用发散感知聚合技术缓解了非独立同分布数据的性能下降，并取得了 SOTA 的精度。然而，上述方法很好的解决了跨企业数据孤岛（Cross-silo）的问题，但是由于它对于计算资源以及本地数据量的严苛要求，实现跨用户（Cross-client）联邦自监督几乎不可能。

我们认为，脱离原本的 FedAvg 框架并且应用合理的计算卸载（computation offloading）是解决这一问题的关键。基于上述理解和启发，在本文中我们探索了如何通过有机结合 Split Federated Learning&#