LSFL: A Lightweight and Secure Federated Learning Scheme for Edge Computing 论文总结

m0_53599400

已于 2024-07-10 10:44:31 修改

阅读量737

点赞数 13

文章标签：论文阅读密码学分布式

于 2024-06-11 12:38:11 首次发布

本文链接：https://blog.csdn.net/m0_53599400/article/details/139595469

版权

LSFL：一种用于边缘计算的轻量级安全联合学习方案

摘要

如今，许多边缘计算服务提供商希望利用边缘节点的计算能力和数据来改进他们的模型，而无需传输数据。联邦学习促进了分布式边缘节点之间全局模型的协作训练，而不共享它们的训练数据。不幸的是，现有的应用于这种情况的隐私保护联邦学习仍然面临三个挑战：1）它通常采用复杂的加密算法，导致训练开销过大； 2）在保留数据隐私的同时不能保证拜占庭鲁棒性； 3）边缘节点的计算能力有限，可能会频繁下降。因此，隐私保护联邦学习不能有效地应用于边缘计算场景。因此，我们提出了一种轻量级、安全的联邦学习方案LSFL，它结合了隐私保护和拜占庭鲁棒的特点。具体来说，我们设计了轻量级的双服务器安全聚合协议，该协议利用两个服务器来实现安全的拜占庭鲁棒性和模型聚合。该方案保护数据隐私并防止拜占庭节点影响模型聚合。我们在局域网环境中实现和评估LSFL，实验结果表明LSFL满足保真度、安全性和效率设计目标，与流行的FedAvg方案相比保持了模型精度。

创新点

• 提出了 LSFL，这是一种轻量级的众包 FL 方案，可以帮助边缘节点供应商提高服务质量。它保留了消费者的隐私，并允许消费者在训练阶段退出。

•提出了一种轻量级的拜占庭鲁棒双服务器安全聚合协议。它可以实现安全聚合和安全拜占庭鲁棒性。具体来说，它保留了拜占庭鲁棒性和模型聚合阶段参与者的隐私信息。

•实现了LSFL的原型，并在训练精度、训练时间和拜占庭鲁棒性方面评估了它们的性能。我们的结果表明，LSFL 可以实现保真度、效率和安全设计目标。

就是提出了很好的奖惩机制和使用双服务器而避免了复杂的加解密算法

系统架构

TP：TA 是系统中的第三方，负责选择用于模型聚合的合格参与者（即 DP）。更准确地说，TA 从 DP 中排除了可疑的拜占庭节点，从而确保 SP 可以获得正确的模型。

SP：SP 是系统中的边缘计算服务提供商，可以认为是智能手机提供商（例如，Apple、华为）或自动驾驶服务提供商（Tesla、Ford）。它维护初始模型，并期望使用 DP 中的计算资源和数据优化模型。简单地说，它旨在根据 DP 拥有的数据重新训练模型。特别是，SP 负责模型的聚合，即模型的更新和维护最新的模型。

DPs：DP 是边缘计算节点。它通过自己的传感器收集大量数据，愿意参与联合训练以获得更好的模型。我们还假设它是一个不可信的参与者，具有一定的计算能力，可能会在训练过程中造成不适当的中间结果。

威胁模型

1) 诚实但奇怪的 SP 和 TP：SP 和 TP 正确地遵循协议，但可能会尝试学习附加信息。换句话说，SP 和 TP 试图在遵循协议的同时从参与者那里获得一些私人信息，以便他们可以使用这些信息来推断模型隐私，虽然 SP 和 TP 没有动机破坏 FL 训练过程，但它们可能是由商业利益驱动的，以获得边缘节点的私人信息。

2）拜占庭 DP：在实践中，边缘节点（即 DP）容易受到攻击，因为它们靠近用户端。因此，我们不能保证边缘节点能够正确地执行所有训练任务。此外，我们假设边缘节点遵循协议，并且好奇 SP 返回的信息。但是，他们可能会使用它们的信息来发送任意本地模型更新。假设大多数DP都不是恶意的，这也与真实场景一致。更具体地说，我们考虑两种类型的拜占庭节点：①：搭便车。搭便车是懒惰的参与者。他们不想或有能力共享他们的本地模型更新，并且只希望通过访问 FL 训练过程访问经过训练的模型。它们通常上传随机本地模型更新。②：恶意节点。对于恶意节点，它通常出于目的发起攻击。在这里，我们假设它发起了符号翻转攻击。符号翻转攻击是一种非目标中毒攻击，它翻转本地模型更新的元素符号。

设计目标

1、保真度。当没有攻击时，该方案无法牺牲全局模型的准确性。在这里，我们使用 FedAvg 作为基线进行比较。换句话说，当没有攻击时，该方案能够训练一个与FedAvg一样准确的全局模型。

2、安全性。该方案应满足两个安全目标：（i）它应该保护训练过程中参与者的隐私，（ii）它应该保证拜占庭参与者存在时的正确模型训练。特别是，随着拜占庭节点的参与，该方案应该学习一个与 FedAvg 一样准确的模型。

3、效率。由于边缘节点本身的计算资源有限，该方案不会产生额外的计算和通信开销，特别是对于参与者。特别是，随着拜占庭节点的参与，与 FedAvg 相比，我们的方案不能增加参与者的工作负载。此外，与FedAvg相比，我们的方案不能在整个训练过程中添加太多的时间开销。简单地说，我们的方案只能引入有限的时间开销。

具体方案

数据提供者（DP）训练本地模型之后，将模型拆分为2部分： $w_i=\frac{1}{2}(w_i^{(1)}+w_i^{(2)})=\frac{1}{2}(w_i+\xi _i+w_ i-\xi _i)$ ， $\xi _i$ 是满足N（0，g^2）分布的高斯噪声。

双服务器安全模型更新

在接收到每个参与者 Pi 的秘密共享模型参数后，聚合器开始更新全局模型并将更新后的模型参数分发给每个参与者。通常，当前的单聚合器 FL 聚合方案在很大程度上取决于单聚合器，单聚合器容易受到来自外部对手的攻击。然后，模型隐私可能会受到数据侵权、黑客、泄露的影响。为了避免单聚合器FL方案的单点故障，我们提出了一种轻量级的拜占庭鲁棒双服务器安全聚合协议。如算法 3 所示，我们的聚合协议主要由安全拜占庭鲁棒性、安全公平保证和安全模型聚合三个组件组成。

安全的拜占庭健壮性：

为了减轻懒惰或拜占庭参与者对全局模型的影响，我们应该评估参与者上传的模型参数并选择适当的模型参数。因此，我们设计了一种有效的k近邻权值选择方法

①：TP计算Z1= $\sum_{i=1}^{N}w_i^{(1)}$ ,SP计算Z2= $\sum_{i=1}^{N}w_i^{(2)}$ ，然后TP发送Z1给SP.

②：SP计算得到平均模型： $\bar{w}=\frac{1}{2N}(\sum_{i=1}^{N}w_i^{(1)}+\sum_{i=1}^{N}w_i^{(2)})$ ，再计算 $\frac{1}{2}w_i^{(2)}-\bar{w}$ 给TP

③：TP通过计算不同参与者模型和平均模型之间的距离di， $d_i=\frac{1}{2}w_i^{(1)}+\frac{1}{2}w_i^{(2)}-\bar{w}$ ，d={d1,d2,.....dN}

④：由于 di 是一个向量，TP 将其转换为 $d(w_i)=||d_i||_2$ ，以获得 d′ = {d(w1), d(w2)。, d(wN )}，然后取 d' 的中值 m，其中 ‖·‖2 表示2范数。然而，由于平均模型可以有异常值，例如拜占庭参与者贡献了非常大的模型更新参数，这可能会导致平均模型偏离正常范围。因此，在最后一步中，TP通过计算 ${d_i}''=|d(w_i)-m|$ 来揭示wi和m之间的距离，并将其作为判断相似度的标准。根据上述步骤，我们可以得到不同参与者与平均模型的偏差程度。基于 d''，TA 获取所选参与者选择前 k 个最近邻参与者的模型更新 wi ，然后使用安全模型聚合来更新全局模型。

安全公平保证:

奖励： $\zeta$ ，惩罚： $\varphi$ ，金钱： $\gamma$ ，成本： $\sigma$

为了保护参与者的公平性并减少拜占庭参与者对全局模型的影响，我们提出了一种基于参与者行为的奖励和惩罚机制。该机制的主要目标是确保不良参与者（即对全局模型没有贡献的参与者）受到惩罚甚至删除，良性参与者（即对全局模型有积极贡献的参与者）得到奖励。因此，该机制的挑战是区分良性参与者和坏参与者。为了克服这一挑战，我们使用参与者的贡献来确定它是否是良性参与者。如果参与者被添加到全局模型聚合中，则认为它是良性的；否则，它被视为坏参与者。换句话说，该机制的基本原理是确定参与者 Pi 是否有助于全局模型 W 的收敛性。如果参与者 Pi 对全局模型 W 有积极影响，则 TP 给他一个奖励 ς ，如果不是，TP 会惩罚参与者 Pi。此外，服务器在训练开始之前为每个参与者分配相同数量的钱，参与者必须为每一轮训练付费。参与者对全局模型的贡献的评估是基于参与者是否被前一个拜占庭鲁棒性阶段的聚合服务器选择。如果没有选择，我们认为它只获得了全局模型，并没有对全局模型聚合做出贡献，所以我们惩罚它。显然，如果参与者继续发起攻击，它将很快耗尽其钱。如果 FL 耗尽钱，它就不能参与 FL 训练。通过这种方式，我们可以删除拜占庭参与者，从而减少拜占庭参与者对全局模型聚合的影响。具体来说，首先，聚合服务器为每个参与者分配相同数量的钱 γ；其次，TP 验证参与者 Pi 是否有足够的钱，在确定他们有足够的钱后，TP 分配全局模型 W 并扣除相应的成本 σ ；第三，参与者执行本地训练并在收到全局模型参数 W 后上传训练结果 wi；最后，TP 在步骤安全拜占庭鲁棒性中使用参与者选择的结果来奖励选定的参与者，并惩罚那些未选择的参与者。通过重复上述步骤，对全局模型贡献较弱的参与者无法在金钱耗尽后在后续训练中参与，从而我们成功地实现了确保公平性的目的。

安全模型聚合

为了实现轻量级数据隐私保护，我们提出了一种双服务器安全聚合协议。该协议使用秘密共享机制分别保持参与者Pi在TP和SP中的模型更新wi。换句话说，TP 持有参与者 Pi 的模型更新 $w_i^{(1)}$ ，其中 i ∈ [1, N ]。相应地，SP 持有 Pi 的模型更新 $w_i^{(2)}$ 。接下来，聚合器执行安全模型聚合。具体来说，TP、SP 首先本地计算 $W^{(1)}=\frac{1}{2k}\sum_{i=1}^{k}w_i^{(1)}$ ， $W^{(2)}=\frac{1}{2k}\sum_{i=1}^{k}w_i^{(2)}$ ，其中 Pi ∈ P；其次，TP 将其份额 $W^{(1)}$ 发送给 SP；然后 SP 通过 $W=W^{(1)}+W^{(2)}$ 获得全局模型 W；最后，SP 使用 W 更新全局模型。在这一步中，SP 获得当前轮的训练结果。然后发送给本轮参与者。

实验部分

实验设置

数据集：使用MNIST 和 CIFAR-10数据集；

数据拆分：我们使用两种方法（IID 和 Non-IID）为每个 DP（即参与者）拆分数据集：

1）对于 IID，我们对 MNIST 和 CIFAR-10 数据集进行了打乱，并将它们平均分配给每个 DP；

2）对于非 IID，我们将 MNIST 数据集分成 200 个大小为 300 的分片，每个分片分布到每个 DP。

将本文方案与其他4个方案进行对比，然后设置各种参数。

考虑两种类型的对手（即拜占庭 DP）：搭便车和恶意 DP

实验结果

保真度评估:为了评估该方案的保真度目标，我们比较了FedAvg[2]和LSFL。值得注意的是，没有攻击。在本实验中，我们将参与者和通信轮数设置为100。图3显示了LSFL和FedAvg[2]在MNIST和CIFAR-10数据集上的收敛性。我们可以观察到我们的方案在收敛性方面对模型没有任何影响。它的收敛性与FedAvg高度相似。此配置文件在 MNIST 或 CIFAR-10 数据集上不会改变。

为了测试该方案对模型精度的影响，我们比较了FedAvg和LSFL的准确性。图 4 显示了所提出方案和 FedAvg 在 MNIST（IID 和 Non-IID）和 IID CIFAR-10 数据集上的准确性

评估了参与者总数对 FL 模型准确性的影响。图5显示了我们提出的LSFL在不同全局模型和数据集上的准确性，当参与者总数N从20增加到100时。我们可以观察到，参与者的数量对准确性有积极的影响。

安全评估：为了评估该方案的安全目标，我们首先比较并测试了我们的 LSFL 与不同数量的拜占庭 DP 的性能。具体来说，我们在 MNIST 和 CIFAR-10 数据集上的 10% 拜占庭 DP、20% 拜占庭 DP 和 30% 拜占庭 DP 的情况下测试了 LSFL 的准确性，并将其与 FedAvg（0% 和 10% 拜占庭 DP）进行了比较。拜占庭 DP 包括搭便车和恶意 DP。在本实验中，我们将 DP 和通信轮数设置为 100。实验结果如表 II 和表 III 所示。我们可以观察到我们的 LSFL（攻击不足）几乎与 FedAvg（无攻击）一样准确。这表明我们的 LSFL 具有出色的拜占庭弹性，并且可以在拜占庭 DP 存在的情况下实现与 FedAvg 相同的模型预测精度。

为了进一步评估 LSFL 的安全性，我们将其与现有方案（即 SignSGD、DP-SignSGD、Krum、Medium）进行了比较。具体来说，我们测试了我们的LSFL、SignSGD、DP-SignSGD、Krum和Medium在MNIST和CIFAR-10数据集上遭受搭便车和符号翻转攻击时的准确性。在本实验中，我们将 DP 的数量和通信轮数设置为 20，拜占庭用户的百分比设置为 30%，并使用 MLP 作为全局模型。从图6可以看出，当LSFL受到拜占庭攻击时，我们的LSFL具有更好的预测精度。特别是，当拜占庭 DP 是搭便车者时，LSFL 的优势更加明显。这表明我们的方案具有更好的拜占庭鲁棒性。这也是因为我们的方案的关键步骤是使用中位数作为基线来选择最佳参与者，这对高斯噪声等异常值具有鲁棒性。

为了评估拜占庭 DP 的分数的影响，我们测试了当拜占庭 DP 的分数从 0% 到 40% 之间时不同方案的预测精度。在本实验中，我们将 DP 的数量和通信轮数设置为 20，并使用 MLP 作为全局模型。图7显示，与其他方案相比，LSFL 具有最高的准确性。由于我们假设大多数 DP 不是恶意的，我们只在 50% 内测试了拜占庭 DP，并将 k 设置为 50%。这表明我们的方案对拜占庭攻击更加稳健。此外，我们可以看到 LSFL 的准确性不会随着拜占庭 DP 的增加而增加而降低。。。。。。

一些思考

鲁棒性：是系统或者算法在面对异常或危险情况时，仍能保持正常运行的能力。

拜占庭攻击：利用数学问题或者算法不对称性来进行攻击。

只要DP大多数是诚实的，本方案就有拜占庭鲁棒性，Wa代表拜占庭参与者的局部模型，Wh代表诚实参与者的局部模型，对于拜占庭DP，想要攻击成功，必须确保 $\left | \left \| W_a-\bar{W} \right \|_2-m \right |\leq \delta$ 和 $\left \| W_a \right \|_2\geqslant \left \| W_h \right \|_2$