【AutoGM】Byzantine-Robust Aggregation in Federated Learning Empowered Industrial IoT

Byzantine-Robust Aggregation in Federated Learning Empowered Industrial IoT

联邦学习授权工业物联网中的拜占庭鲁棒聚合

Abstract

本文提出：自加权几何中值 （AutoGM）聚合规则，为了得到AutoGM 的取值，设计了一种基于交替优化策略的算法。提出了两种鲁棒FL解AutoGM_FL和AutoGM_PFL。AutoGM_FL使用标准FL范式学习共享全局模型，而AutoGM_PFL学习每个设备的个性化模型。

1.INTRODUCTION

GM作为梯度下降发的聚合规则时表现出收敛性，最近也被应用于鲁棒FL解中的聚合参数。

需要增强GM的鲁棒性，缓解模型中毒和数据中毒。

Contributions

• 提出自加权几何中值 AutoGM，针对给定参数向量集的灵活鲁棒聚合规则。
  自动排除极端异常值，根据用户指定的偏度阈值重新加权其余点来实现鲁棒性。
  设计了一种基于交替优化策略的自动GM位置计算算法。
• 将AutoGM 和 FL-IIoT 系统的标准 FL和PFL范式 结合，提出 AutoGM_FL 和 AutoGM_PFL
• 30%节点的模型中毒攻击和50%节点数据中毒攻击，也能保持高性能。

2.RELATED WORK

A. Federated Learning on Industrial IoT

Taheri提出基于 FL 的联邦-工业物联网（FL-IIoT）。参与者通过生成对抗网络(GAN)和联合GAN两种动态中毒攻击触发数据。

B. Robust Federated Learning

鲁棒聚合：几何中值、Krum、trimmed mean修剪平均、median中值

现有研究：
鲁棒局和规则可以防御参数列表中高达 50% 的异常值。
2017，Chen提出基于GM分布式梯度聚合，在 i.i.d 设置下有鲁棒性和收敛性。
最近，Pillutla等将GM作为FL的鲁棒聚合，分析所得FL算法对 i.i.d 最小二乘目标的收敛性。

本文提出的AutoGM可以根据所需的偏斜度进行调整。

3.FEDERATED LEARNING FOR IIOT SYSTEMS

A. System Model

IIoT Device:
每个设备拥有一个私有数据集和一个共享的全局模型的副本。
每一轮更新中选择一部分设备进行模型更新，被选中的设备连接中央服务器获取最新的全局模型，使用自己的私有数据集用 随机梯度下降（SGD） 的几个步骤更新模型，通过无线网将新的参数上传中央服务器。

B. Threat Models

无目标投毒攻击：
攻击者的目标是操纵训练好的全局模型，使其对系统不可用，即对测试数据无区别地造成高错误率。

本文实验假设：

1. 每个对手控制一个非合谋和损坏设备
2. 恶意设备不超过一半
3. 不考虑通信噪声和故障

4.AUTO-WEIGHTED GEOMETRIC MEDIAN

AutoGM 根据输入的 欧氏距离 重新加权来实现鲁棒性。

A. GM and AutoGM

本文提出的 AutoGM 由 GM 推广而来。

GM定义：
向量集合 S = { z k } k ∈ [ K ] S=\lbrace z_k \rbrace _{k\in[K]} S={ zk​}k∈[K]​
点 $\hat{z}$ 使集合中所有点的欧氏距离之和最小。

GM对异常值有抵抗力，即使破坏一般的输入也是稳定的。

稳定性有限，常数因子仍会收到异常值数量的影响，即边界随着异常值大小的增加而增加。

在GM的基础上，提出更灵活的鲁棒聚合规则AutoGM：

AutoGM定义：
向量集合 S = { z k } k ∈ [ K ] S=\lbrace z_k \rbrace _{k\in[K]} S={ zk​}k∈[K]​
${\hat{z}}^{\ast }=AutoGM(S)$
与 $S$ 的权重向量 $\alpha$ 一起
$\lambda$ 是用户指定的超参数，控制 α \alpha