【论文翻译】Privacy-Preserving Asynchronous Grouped Federated Learning for IoT

已于 2024-09-23 20:44:35 修改
阅读量58 收藏
点赞数
分类专栏： 论文翻译 文章标签： 物联网
于 2024-09-23 20:27:50 首次发布
原文链接：https://ieeexplore.ieee.org/document/9531958
版权

提示：该论文标题为Privacy-Preserving Asynchronous Grouped Federated Learning for IoT，我将对其进行部分翻译，便于后续阅读。

面向物联网的隐私保护异步分组联邦学习

摘要

联邦学习（FL）是一种协作式分布式学习框架，已广泛应用于各种智能物联网（IoT）应用中（例如，智能医疗、智能家居和智能工业）。然而，在这些物联网应用中可能存在恶意设备，它们可能推测其他设备的隐私或破坏上传的模型参数。此外，由于物联网设备的异质性，现有的同步联邦学习难以通过非独立同分布（non-IID）的本地数据集有效训练模型。为了解决这些问题，我们提出了一种面向物联网的隐私保护异步分组联邦学习框架（PAG-FL），使多个设备和服务器能够在不泄露隐私的情况下协作高效地训练模型。PAG-FL框架由基于自适应Rényi 差分隐私的隐私预算分配（ARB）协议和异步基于权重的分组更新（AWGU）算法组成。特别地，ARB协议应用了Rényi差分隐私，并自适应调整隐私预算以获得高效的本地模型。AWGU算法通过对分组的本地模型加权生成全局模型，能够防御针对非IID数据集的投毒攻击。同时，该算法通过采用懒加载策略实现了异步优化更新。从理论上讲，该框架在异步联邦学习中对非IID数据集的训练具有收敛性保证和隐私保证。我们的实验证明了该理论设计的有效性，并展示了PAG-FL在异构物联网中的实用性和鲁棒性提升。

一、引言

贡献

  1. 我们设计了一种自适应的隐私预算分配协议，以在全局模型的效用和隐私保证之间进行权衡。服务器根据每个本地模型在公共验证数据集上的准确性，动态调整相应模型的隐私预算。随后，在本地训练阶段根据服务器分配的隐私预算应用 RDP 机制。据我们所知，这是首次在联邦学习中研究基于动态 RDP 的隐私预算分配协议。

什么是隐私预算？
在差分隐私中，隐私保护主要通过对数据添加噪声来实现。隐私预算（ε）控制了添加噪声的量，从而平衡了隐私和数据的有用性。它控制了系统能够容忍的隐私泄露程度。隐私预算越小，隐私保护越强，反之，隐私预算越大，系统的效用（如模型准确性）也通常越高。因此，隐私预算分配的关键任务是找到隐私保护与模型效用之间的平衡。

  1. 我们提出了一种异步分组更新算法，能够防御投毒攻击并解决非独立同分布（non-IID）问题。具体来说，本地模型可以根据每个本地模型在公共验证数据集上的准确性进行分组和加权，以生成全局模型。此外，每个设备在本地训练阶段结束后，直接将本地模型推送到服务器，无需长时间与服务器保持连接。接着，每个设备主动从中央服务器请求最佳模型。该算法可以增强联邦学习的鲁棒性。
  2. 从理论上讲，所提出的 PAG-FL（由 ARB 和 AWGU 组成）在非IID数据集上的训练过程中具有收敛性保证和隐私保证。我们的实验证明了理论设计的有效性，并展示了 PAG-FL 在异构物联网中的效用和鲁棒性提升。

二、相关工作

C. 创新点

为了避免现有物联网联邦学习（FL）中基于差分隐私（DP）和基于密码学的方法的缺点，我们将 Rényi差分隐私（RDP）应用到我们的框架中，以实现强隐私组合结果。我们设计了一种基于自适应RDP的隐私预算分配协议，因为直接使用RDP无法使模型收敛到最优解。我们的框架使服务器能够根据每个本地模型在公共验证数据集上的准确性，动态调整相应模型的隐私预算，从而在全局模型的效用和隐私保证之间进行权衡。接着，本地模型在本地训练阶段根据分配的隐私预算进行扰动。

此外，为了避免现有异步联邦学习（AFL）的缺点，我们的框架可以根据每个本地模型在公共验证数据集上的准确性，将本地模型分组并加权以生成全局模型。每个设备在本地训练阶段结束后，直接将本地模型推送到服务器，无需长时间与服务器保持连接。接下来，每个设备主动从中央服务器请求最佳模型。

小结：（1）将RDP结合进联邦学习的本地训练（2）优化RDP，使之与联邦学习更好地结合（3）为了应对异步的缺点，使用分组策略
不知道懒加载的优势是如何体现的？

PAG-FL 框架 (本文所提框架)

在本节中，我们展示了 PAG-FL 的威胁模型和核心设计，以及框架中的核心协议和算法。表 I 列出了一些关键参数。

A. 威胁模型

PAG-FL 框架主要面临两类威胁：1）模型逆向攻击，2）模型投毒攻击。

  • 模型逆向攻击：在我们的框架中，假设模型参与者是半诚实的，即参与者会诚实地执行联邦训练操作，但会对其他本地设备的私有数据感到好奇，并可能通过上传的模型参数或梯度来恢复其训练的原始数据。
  • 模型投毒攻击：一些恶意参与者可能会篡改模型参数，或使用不准确的标签训练他们自己的本地模型。这些恶意参与者的目标是偏离全局模型的收敛方向。

B. PAG-FL 的核心设计

在这里插入图片描述
在这里插入图片描述

C. ARB Protocol

D. AWGU Algorithm

在这里插入图片描述
在这里插入图片描述

总结

分别对本地和中心服务器都进行了改进。本地模型更新结合了差分隐私；全局模型更新时用到了额外的辅助数据集，同时通过设计的策略实现异步更新。

虫本初阳
关注
专栏目录
Privacy-Preserving Blockchain-Based Federated Learning for IoT Devices读书笔记
m0_54487794的博客
04-02 1143
Privacy-Preserving Blockchain-Based Federated Learning for IoT Devices读书笔记
【Paper Reading】Privacy-Preserving Aggregation in Federated Learning: A Survey
lunan的博客
10-02 1469
在联邦学习中的Aggregation方面的隐私保护问题相关的Survey
【阅读笔记】Pain-FL: Personalized Privacy-Preserving Incentive for Federated Learning
HERODING23的博客
01-24 3619
Pain-FL前言 前言 一篇来自 CCF A 类期刊 IEEE JOURNAL ON SELECTED AREAS IN COMMUNICA TIONS 的文章，可谓是通信领域的现象级论文，无论是其写作技巧还是论文深度一定都值得我去细心挖掘，所以我决定将这篇文章作为我毕设论文翻译任务，认真去钻研并理解，希望能够帮助我更好理解PPFL，以及为我的毕设提供更多思路和灵感。话不多说，让我们开始吧！ ...
论文学习笔记 POSEIDON: Privacy-Preserving Federated Neural Network Learning
WINCJS的博客
07-03 1806
论文学习笔记 POSEIDON: Privacy-Preserving Federated Neural Network Learning NDSS 2021录用文章 目录论文学习笔记 POSEIDON: Privacy-Preserving Federated Neural Network Learning一、机器学习1. 机器学习(ML)中的挑战2. 隐私保护机器学习(PPML)二、POSEIDON方案1. 系统和威胁模型2. 方案总览多方同态加密(MHE)联邦学习主要挑战和解决方法3. 方案CKKS
Privacy-preserving Serverless Computing using Federated Learning for Smart Grids论文总结
桐青冰蝶Kiyotaka的博客
08-13 2463
Privacy-preserving Serverless Computing using Federated Learning for Smart Grids论文总结
【一种数据异构的FL迁移学习框架】Privacy-preserving Heterogeneous Federated Transfer Learning
热门推荐
学渣的博客
04-22 1万+
原文：Privacy-preserving Heterogeneous Federated Transfer Learning 本文讲了数据异构（区别于模型结构异构）下的 FL 训练框架，此外还有隐私保护的作用。这里的数据异构是指不同的 feature spaces，因此本文使用了迁移学习进行解决。 数据异构 heterogeneous data 数据异构有两种情况：homogeneous feature space or heterogeneous feature space with instance
A Verifiable and Privacy-Preserving Federated Learning Training Framework 笔记-2024年5月7日
qq_35151686的博客
05-07 603
我们的贡献的亮点如下：首先，我们是最早研究神经网络训练验证问题的，在联邦学习的一般设置中。最后，我们的框架不依赖于特定的神经网络结构，因此具有广泛的适用性。尽管已有方法被提出用以检查模型更新的有效范围或确保全局模型的收敛，但这些方法不能保证本地训练的正确性，因此无法阻止懒惰的客户端上传没有经过实际训练努力的虚假更新。另一方面，我们观察到在反向传播公式中，神经网络的大部分张量/矩阵操作是重复出现的，因此可以转换为自定义门，如果反向传播被写成电路，可以利用哈达玛积、矩阵重塑、矩阵重索引等优化的交互式证明协议。
【阅读笔记】Federated Learning for Privacy-Preserving AI
HERODING23的博客
12-20 1308
Federated Learning for Privacy-Preserving AI前言一、论文解析DefinitionCategorizationArchitectureApplication ExamplesUse Case 1：FedRiskCtrlUse Case 2：FedVisionOutlook二、论文总结三、个人感悟 前言 一篇来自 Communications of ACM 的文章，这类期刊相当于magazine性质的文章，所以大多很短。之前阅读了PPFL的综述，对PPFL有了更深刻的
最新论文笔记(+21)：Privacy-Preserving Byzantine-Robust Federated Learning via Blockchain Systems/ TIFS2022
cryptocxf的博客
10-11 7968
Privacy-Preserving Byzantine-Robust Federated Learning via Blockchain Systems 可译为“利用区块链实现隐私保护的拜占庭鲁棒性联邦学习”这篇是今年八月份被TIFS2022（CCF A）收录的文章，写的利用全同态加密和区块链技术解决联邦学习中隐私问题和可信问题（虽然区块链仅仅只是存储的作用，也稍微提了一下）。精读完这篇文章，整体感觉还不错，毕竟是CCF A类期刊。下面是自己读后感，根据自己的语言来做了一些笔记，也相当于回顾。
论文《Privacy-Preserving Federated Deep Learning with Irregular Users》实验部分
WANG_FENG_的博客
08-09 1034
5.1 Functionality 5.2 Accuracy 5.2.1 Effect of iteration times with different proportions of irregular data 我们首先讨论了加密方法中迭代次数的影响。如第3.3节和第4.3节所述，我们知道在PPFDLbscand PPFDLimd的初始化过程中，xm的值∗在第一次迭代中使用的每个梯度m都需要初始化。Works[25]给出了每个梯度xm∗可以初始化为第m个梯度上所有用户总和的平均值。然而，由..
Privacy-preserving wildcards pattern matching protocol for IoT applications
02-08
Privacy-preserving wildcards pattern matching protocol for IoT applications
物联网新闻2024.09.16-2024.09.22
qq_43608728的博客
09-19 1255
工信部重磅发文，推动“万物互联”到“万物智联”。工业和信息化部今日印发关于推进移动物联网“万物智联”发展的通知，旨在提升移动物联网行业供给水平、创新赋能能力和产业整体价值，加快推动移动物联网从“万物互联”向“万物智联”发展。《通知》立足移动物联网产业发展节奏、各行业领域移动物联网应用现状，明确了移动物联网发展目标：到2027年，基于4G含LTE-Cat1，即速率类别1的4G网络和5G含NB-IoT窄带物联网RedCap，轻量化高低搭配、泛在智联、安全可靠的移动物联网综合生态体系进一步完善。
物联网行业中透明传输详解以及如何实现
最新发布
AmazIOT的博客
09-26 1069
0101概述TCP透传功能是一种数据传输技术，它允许在两个TCP连接之间实现数据的无缝传输，保持原始连接的状态和数据完整性。通过透传，中间的服务器可以成为一个透明的传输通道，不对数据进行任何处理或修改，从而实现数据的原始传输。这种技术对于需要保持数据原始性和完整性的应用场景非常有用，例如物联网设备的数据传输、远程监控系统的数据传输等。此外，TCP透传功能不仅限于直接的TCP连接之间的数据传输，还可以应用于更复杂的场景，如智能网关的串口服务。
物联网行业中模组的AT指令详解以及使用
AmazIOT的博客
09-26 512
提供AT指令解析实现方式。用户可以通过AT指令组件，设计开发项目的AT指令。组件内同时支持其它标准指令。使用该组件，必须同时使用文件组件，透传组件模式切换组件，心跳组件，以及TCP组件，因为AT指令组件里的AT指令实现，需要串口接收数据，分析指令中的参数后调用了文件读写，部分还会打开关闭Socket等操作，用户在使用本组件的时候，可以删除不用的组件部分。根据实验现象，用户需要实现自己的AT指令，只需要参考组件中的例子，按照自己需求修改，注：本文部分内容来源于网络，如有侵权，请及时联系我们。
蓝桥杯【物联网】零基础到国奖之路:七. 串口
weixin_74769854的博客
09-16 1363
进行了串口部分的学习
基于STM32设计的智慧路灯(腾讯云IOT)(233)
09-26 1600
智慧路灯系统可以有效提高城市照明的能效比。通过环境光照强度检测模块，智慧路灯可以自动感知环境光线强弱，根据光照强度自动调节路灯亮度，实现按需照明，避免能源的浪费。同时，系统还可以根据行人检测模块的信号，智能调节路灯的亮度，如有人经过时全亮，无人时半亮，从而进一步降低能耗。
4G模组如何轻松上云？合宙IoT_CLOUD之【中移OneNET】
2301_79081828的博客
09-22 798
当然可以！文末留言你想要了解的云平台，优先安排~接下来，本文将以Air780E+LuatOS作为示例，教你使用合宙IoT_CLOUD连接中移OneNET物联网云平台。
智能新突破：AIOT 边缘计算网关让老旧水电表图像识别
weixin_49512855的博客
09-23 554
对于水表和电表的管理，边缘计算网关可以将采集到的数据实时上传到管理平台，实现远程监控和管理。图像识别功能是该网关的一大亮点。而通过边缘计算网关的图像识别功能，可以快速准确地读取水表和电表的读数，大大提高了抄表的效率和准确性。这种多接口的设计，使得网关具有高度的兼容性和扩展性，可以满足不同用户的个性化需求。AIOT 边缘计算网关以其强大的算力、先进的图像识别功能和丰富的 IO 接口，为物联网的发展提供了有力的支持。在实际应用中，它可以轻松应对各种场景下的数据分析和处理需求，为用户提供高效、准确的决策支持。
Privacy-Preserving Machine Learning Using Federated Learning and Secure Aggregation
05-04
Privacy-preserving machine learning is becoming increasingly important in today's world where data privacy is a major concern. Federated learning and secure aggregation are two techniques that can be used to achieve privacy-preserving machine learning. Federated learning is a technique where the machine learning model is trained on data that is distributed across multiple devices or servers. In this technique, the model is sent to the devices or servers, and the devices or servers perform the training locally on their own data. The trained model updates are then sent back to a central server, where they are aggregated to create a new version of the model. The key advantage of federated learning is that the data remains on the devices or servers, which helps to protect the privacy of the data. Secure aggregation is a technique that can be used to protect the privacy of the model updates that are sent to the central server. In this technique, the updates are encrypted before they are sent to the central server. The central server then performs the aggregation operation on the encrypted updates, and the result is sent back to the devices or servers. The devices or servers can then decrypt the result to obtain the updated model. By combining federated learning and secure aggregation, it is possible to achieve privacy-preserving machine learning. This approach allows for the training of machine learning models on sensitive data while protecting the privacy of the data and the model updates.
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值