联邦学习——Ditto：同时提升公平性和鲁棒性

最新推荐文章于 2024-10-09 22:15:17 发布

联邦学习小白

最新推荐文章于 2024-10-09 22:15:17 发布

阅读量6.3k

点赞数 6

分类专栏：联邦学习文章标签：机器学习边缘计算

本文链接：https://blog.csdn.net/weixin_42534493/article/details/118556509

版权

Ditto算法旨在解决联邦学习中公平性和鲁棒性的挑战。通过引入多任务学习，它在本地目标函数中添加正则项，动态平衡个性化模型和全局模型之间的关系。超参数λ允许设备根据其数据异构性调整模型，以增强对恶意节点攻击的抵抗力并确保不同设备的性能公平。实验表明，Ditto在保持鲁棒性的同时提高了公平性，优于其他联邦学习算法。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

《Ditto: Fair and Robust Federated Learning Through Personalization》这篇文章的作者之一Virginia Smith于2017年提出了Federated Multi-Task Learning用于实现个性化联邦学习。这篇文章提出的Ditto算法也是基于联邦多任务学习的个性化方法，目的在于同时提升联邦学习中的公平性和鲁棒性。

FL公平性和鲁棒性的定义

公平性：不同设备的本地模型具有相同性能
鲁棒性：具体指拜占庭鲁棒性，即恶意节点可以给服务器发送任意更新来破坏训练阶段。常见的三类比较常见的训练阶段攻击：
在这里插入图片描述
存在的问题：
之前的研究只单独考虑公平性或者鲁棒性，并且提高公平性会以牺牲鲁棒性为代价。而提高鲁棒性的方法可能会过滤掉一些罕见但又有价值的更新参数，从而降低了不公平。简单讲就是目前还没有一种有效方法能同时提升公平性和鲁棒性。
这篇文章的作者提出数据异构性是导致这一问题的而主要原因，并提出用应用多任务学习（多任务学习内在原理可以很自然的同时提升公平性和鲁棒性）