【FedCom】A Byzantine-Robust Local Model Aggregation Rule Using Data Commitment for Federated Learning

FedCom: A Byzantine-Robust Local Model Aggregation Rule Using Data Commitment for Federated Learning

联邦学习中使用数据承诺的拜占庭鲁棒本地模型聚合规则

论文

Abstract

提出 FedCom ：针对不同客户端数据的非独立同分布问题，比较不同客户端之间的 Wasserstein距离，识别有毒数据。

一、INTRODUCTION

数据中毒通过捏造或篡改数据样本导致局部模型中毒。
模型中毒直接更改本地模型更新。

拜占庭鲁棒方案可分为两类：

• 距离统计聚合(Distance Statistical Aggregation, DSA)
  假设中毒局部模型与其他良性局部模型有很大的距离，并在使用它们聚合全局模型之前去除统计异常值。
• 贡献统计聚合（Contribution
  Statistical Aggregation, CSA）
  优先考虑对全局模型精度或全局模型收敛性贡献最大的局部模型

缺点：

• 假定中毒模型远离良性模型，其实最新的拜占庭攻击可以生成很近似的中毒模型。
• CSA在训练开始前需要手机一个公开的验证数据集，不切实际，隐私性差。
• 现有方案对非独立同分布无效

FedCom核心思想：“盲验证”
可以在不披露任何信息的情况下验证本地化数据或过程的完整性。

数据承诺：
是一个人工数据集，以 原始数据集中样本簇的平均值 为样本，该数据承诺与原始数据集有类似的数据分布，不披露其中的样本。

FenCom中：
中央服务器比较不同客户端提交的承诺之间的Wasserstein距离来识别有毒数据。
Wasserstein距离可以显著表示数据分布的不同。

本文：同时抵抗数据中毒和局部模型中毒。