READ-2329 On the Byzantine Robustness of Clustered Federated Learning

READ-2329 On the Byzantine Robustness of Clustered Federated Learning

论文名称	On the Byzantine Robustness of Clustered Federated Learning
作者	Felix Sattler; Klaus-Robert Müller; Thomas Wiegand; Wojciech Samek
来源	IEEE ICASSP 2020
领域	Machine Learning - Federal learning - Security - Targeted & untargeted poisoning attack
问题	已有的健壮性聚合方法需要修改FL的通信过程，并且通信代价较高
方法	在CFL的框架下研究拜占庭设置，去除有明显恶意行为的cluster
创新	在CFL框架上，研究健壮性聚合方法

---

阅读记录

一、预备知识：CFL

1. 在余弦距离下确定cluster

• 当两个客户端的数据同构时，最终两个客户端的解空间将存在交集，达到最优解时，两个客户端更新的角度接近于0，余弦值接近于1；
• 反之，当客户端的数据独立时，解空间不存在交集，达到最优解时，两个客户端的角度趋近于180度，余弦值接近-1.
  因此，从客户端更新的余弦角度可以判断二者数据是否同构，α越大越相似

2. 计算趋近程度

• θ：符合训练目标的模型参数
• r：经验风险，训练集上的平均损失
• R：真实风险=期望风险，真实分布下的平均损失
• 目标：使得每个客户端的经验风险趋近于期望风险，γ表示趋近程度

3. 聚类

• c：不同cluster
• max：对于每种划分方式，找到两个cluster之间客户端的最远距离
• min：对于不同划分方式，找到最小的最远距离
• 含义：找到两个cluster距离最近的划分方式，使得客户端分布尽可能接近

4. 类间相似度的上限

简化以上公式有：

该不等式即为构成最优聚类的充分条件。

二、区别：FL & CFL & CFL for Byzantine Robustness

1. FL：客户端数据独立同分布
2. Clustered Federated Learning：客户端数据分布不一定相同，将数据分布相同的客户端划分为一个cluster
3. Byzantine setting：恶意客户端可能导致联邦学习无法收敛

三、CFL for Byzantine Robustness

1. 标准CFL

• 每个客户端在自己所在cluster的全局模型上进行本地训练，将更新提交给服务器
• 服务器在原划分的基础上对客户端进行进一步的聚类
• 每个cluster聚合自己所拥有客户端的模型

2. 拜占庭健壮的CFL
由于多数客户端属于一个良性集群，而其他客户端为恶意的，因此仅选择最大集群进行下一步聚合

总结

本文使用余弦相似度对客户端进行聚类，层层排除恶意客户端。
本文的设计存在以下问题：

1. 受数据分布的影响较大
2. 当攻击者进行适应性攻击时，容易出现大范围的假阳，反而导致性能下降
3. 需要先验知识：相似度阈值

本文实验设置存在以下问题：

1. 实验指标选的不好：假阴、假阳
2. 实验设计不是很好：在不同数据分布程度下的性能检验
3. 没有和其他基于聚类的恶意检测进行对比