READ-2317 Secure Partial Aggregation: Making Federated Learning More Robust for Industry 4.0 Applica

最新推荐文章于 2024-06-05 14:18:06 发布
最新推荐文章于 2024-06-05 14:18:06 发布
阅读量182 收藏
点赞数
分类专栏： FL Security 文章标签： 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_51638853/article/details/129507210
版权

READ-2317 Secure Partial Aggregation: Making Federated Learning More Robust for Industry 4.0 Applications

论文名称Secure Partial Aggregation: Making Federated Learning More Robust for Industry 4.0 Applications
作者Jiqiang Gao; Baolei Zhang; Xiaojie Guo; Thar Baker; Min Li; Zheli Liu
来源IEEE T IND INFORM 2022
领域Machine Learning - Federal learning - Security - Defence - Backdoor attack；Machine Learning - Federal learning - Privacy - Defence - Inference attack
问题没有一个防御方法可以同时抵挡客户端和服务器发起的攻击，而已有的安全聚合和健壮性聚合策略互斥
方法1.客户端只上传模型的部分参数给服务器；2.通过加密模型更新保证服务器无法推断客户端数据，但服务器又可以检测客户端的恶意行为
创新兼顾安全性和隐私性

阅读记录

一、总框架
  1. 优点：每个客户端只上传部分参数，不仅可以限制恶意客户端的行为，还可以通过加密保护客户端更新
  2. 目标
  • 保证全局模型的识别准确率
  • 同时防御来自客户端的后门攻击和来自都武器的推理攻击
  • 轻量级并且可以提供更好的隐私保护
  1. 创新点
    ①设置客户端上传参数的比例阈值，使得恶意客户端难以进行后门攻击
    ②设计分布式同态加密策略使得客户端更新对服务器不可见
  2. 总框架
  • Random Update Selection：客户端计算模型差值后，随机选取部分模型
    在这里插入图片描述
    ①将模型展开为一维向量
    ②随机选择一维向量中的部分元素替换为0，其他元素不变
  • Update Construction
    在这里插入图片描述
    ①服务器计算非零值的个数
    ②根据每一维度非零值的个数进行平均聚合
  1. 模型的有效性
  • 模型收敛性：二次采样更新的平均值是原始更新平均值的无偏估计值，因此模型在iid和non-iid设置下都可以收敛
  • 抵御后门攻击
    ①在PartFedAvg设置中，若恶意攻击者想完全替换全局模型，至少要被选中1/d轮，并且在训练过程中良性客户端会逐渐削弱后门的影响
    ②在PartFedAvg设置中，由于无法知道每一维度非零更新的个数，恶意攻击者无法准确的实施scaling attack
  • 防御推理攻击：由于客户端只上传部分参数并且进行了加密，服务器的推理受限
二、具体细节
  1. 模型假设
    （1）其他人（包括半诚实的服务器）看不到每个客户端的单独模型更新
    （2）服务器将以合理的概率检测到模型更新的不诚实上传，该检测概率用于权衡效率和正确性
  2. 分布式同态加密
    HE = (HE.DKeyGen,HE.Enc, HE.DDec,HE.Add, HE.Mult)

  • HE.DKeyGen：输入安全参数，输出一对公私钥，私钥被分割为n份
    在这里插入图片描述

  • HE.Enc：输入公钥与原始文本，输出密文
    在这里插入图片描述

  • HE.DDec：n个客户端分别使用私钥和密文作为输入，获得原始向量
    在这里插入图片描述

  • HE.Add：使用k个密文和k个聚合系数作为输入，获取利用聚合系数进行加权的密文
    在这里插入图片描述

  • HE.Mult：输入k个密文，输出密文的乘积
    在这里插入图片描述

  1. 批验证
    （1）目的：验证指示向量的线性组合比单独验证每一个指示向量的损耗更小
    （2）方法
  • 服务器判断哪个客户端是恶意的
    在这里插入图片描述
    ①每个客户端对k个指示向量进行同态加密
    ②对于每个客户端，服务器随机选取k0个α，并使用k0个α对k0个加密的指示向量计算HE.Add，即c
    ③服务器使用n个私钥解密c和用原文计算的结果一样，则表示客户端为良性的
  • 服务器判断是否存在恶意客户端
    在这里插入图片描述
  1. 检测不诚实客户端
  • 方法：使用批验证
    ①客户端上传全部更新（Full update）的同态密文和k个指示向量（Part update：只含0/1）的同态密文
    ②服务器要求所有选定的客户端解密其提交的一部分（k0/k）加密的指示向量
    ③若解密向量包含更少或更多的元素，则服务器可以立即发现不诚实客户端。
  • 优点：保证了不诚实的客户端以一定的概率被捕获，同时，由于指示向量与模型更新相互独立不会向其他人显示清晰的模型更新
  1. 部分聚合
  • 客户端从剩余的k−k0个加密向量中选择一个，用HE.Mult方法将其与加密的完整更新相乘
  • 服务器执行HE
    ①将所有提取的更新相加
    ②将所有相应的加密指示向量相加
    ③服务器指示所有选定的客户端解密这两个密文，并计算部分聚合结果
  1. 安全性
    从同态加密的IND-CPA安全性可以看出，安全部分聚合协议对半诚实服务器是安全的，作弊客户端将以合理的概率被服务器捕获。不诚实的客户可以在以下两种情况下成功欺诈：
  • 服务器没有选择所有恶意加密指示向量
  • 恶意加密指示向量满足验证等式
  1. 伪代码
    在这里插入图片描述

总结

本文通过使用分布式同态加密的方法，同时保证了FL的安全性与隐私性，但是由于密码学协议的执行，加解密的计算成本可能较高，需要思考更轻量级的协议

VivienneLuo
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
babel-plugin-partial-application：[已弃用]请使用https：github.comcitycideparam.macro
01-31
babel-plugin-partial-应用程序· 不推荐使用 请改用因为它是此概念的更集中，稳定和明确的实现。 关于babel-plugin-partial-application所有开发都已停止，我强烈建议您使用代替！ 无论严重性如何，都不会在此处...
get-assemble-partial-dirs:获取汇编部分目录
05-06
获取部分汇编目录 获取部分目录安装$ npm i --save get-assemble-partial-dirs用法在组装插件中： var getPartialDirs = require ( 'get-assemble-partial-dirs' ) ;module . exports = function ( params , cb ) { ...
[论文阅读] 有关联邦学习应用综述 A review of applications in federated learning
有关我的科研的足迹、算法竞赛的日子、生活记录。
11-27 2100
阅读笔记 A review of applications in federated learning 原文链接 因为最近在写一篇联邦学习应用方向的论文，所以阅读了本文章，作一些简要的笔记记录如下： 文章目录阅读笔记 A review of applications in federated learning一、本文介绍的联邦学习概述二、联邦学习的演变2.1 算法优化2.2 安全隐私风险安全 - 在联邦学习中的隐私保护技术三、联邦学习的应用移动设备上的应用工业生产应用医疗保健领域的应用四、美好的未来生活
【论文阅读】Secure Partial Aggregation: Making Federated Learning More Robust for Industry 4.0 Application
leticia_m的博客
07-11 173
个人阅读笔记，如有错误欢迎指出！
联邦学习（Federated Learning）介绍
土豆洋芋山药蛋的博客
04-21 5736
参考资料： Tensorflow官网教程：https://www.tensorflow.org/federated/ 联邦学(federated learning)习生态：https://cn.fedai.org federated learning/联邦学习：https://daiwk.github.io/posts/dl-federated-learning.html Federated ...
联邦学习中的后门攻击的防御手段
juli_eyre的博客
05-19 1912
后门攻击的防御手段横向对比 学习
【论文导读】- SpreadGNN: Serverless Multi-task Federated Learning for Graph Neural Networks（去服务器的多任务图联邦学习）
1+1=王的博客
01-12 8187
图神经网络( GNN )是图机器学习问题的首选方法，因为它们能够从图结构数据中学习最先进的表示。然而，由于用户方面的隐私问题、法规限制和商业竞争，将大量的真实世界图形数据集中用于GNN训练是令人望而却步的。联邦学习是在许多分布式边缘设备上协同训练机器学习模型的事实上的标准，而无需集中化。尽管如此，在联邦环境中训练图神经网络是模糊定义的，并带来统计和系统挑战。本文首次在文献中提出了可以在存在部分标签和没有中心服务器的情况下运行的新型多任务联邦训练框架SpreadGNN。
(上大)组会报告题目汇总(持续更新~)
qq_33509110的博客
07-05 4472
(上大)组会报告题目汇总(持续更新~) 2021.7.1 VERIFL: Communication-Efficient and Fast Verifiable Aggregation for Federated Learning(TIFS) 2021.6.24 Scalable and redactable blockchain with update and anonymity(InfoS) 2021.6.17 Decentralized Privacy-Preserving Fair Exchange
【SAFELearn，一种FL安全聚合的方法】
热门推荐
学渣的博客
04-18 1万+
本文提供了有关 Homomorphic Encryption、Secure Multi-Party Computation (MPC)、Differential Privacy。 原文：SAFELearn: Secure Aggregation for private FEderated Learning 本文提出了一种FL安全聚合的方法SAFELearn， 本文提出的 SAFELearn 主要有以下优点： (G1) prohibiting access to individual model update
next-preact-partial-hydration:在制品
05-14
下一个精确部分水合 WIP此仓库尚未包含任何代码，仅在此阶段是一个概念！ 问题 当我们使用（p）构建大多数静态的，服务器端呈现的网站时，“页面加载期间执行JavaScript工作量通常比效率高出多个数量级”。...
bug-zstd-partial-flush：重现zstd部分刷新bug
02-11
java -jar target / bug-zstd-partial-flush-benchmark.jar 输出量 全部-串联的所有文件的完整输出-每个文件的部分帧刷新-每个文件的单独压缩器 记录大小 original, size=284583 gzipFull, size=56075 gzipPart, ...
ring-partial-content：环的部分内容中间件
02-01
ring-partial-content：环的部分内容中间件
《Secure Analytics-Federated Learning and Secure Aggregation》论文阅读
superY_26的博客
10-05 1233
风险模型假设用户和中心服务器都是诚实且好奇的。如果用户是恶意的，他们有能力在不被监测的情况下影响聚合结果。操作高维向量；不管计算中涉及到的用户子集，通信是高效的；用户dropout是robust；足够安全双重掩码的目标就是为了防止用户数据的泄露，即使当server重构出用户的masks。首先，每个用户产生一个额外的随机秘钥aua_uau​，并且分布他的shares给其他的用户。生成yuy_uyu​yuxuau∑uvsuv−∑uvsv。
pytorch学习笔记5
drarad的博客
06-02 1687
前向钩子（forward hook）在模块的前向传播开始时触发，前向后钩子（forward pre-hook）在前向传播之前触发，反向钩子（backward hook）在反向传播过程中触发。总结来说，钩子提供了一种在 PyTorch 模型的执行过程中插入自定义代码的方法，使得用户可以灵活地调试、监控和扩展模型的功能。作用: 这是一个内部的 C 语言指针，指向张量在底层库（通常是 C++ 实现的 PyTorch 核心）中的具体数据结构。这些钩子可以在张量的梯度计算之前或之后执行自定义的操作。
Python热重载调试新利器
weixin_53707653的博客
06-03 896
Reloading是一个Python工具库，它让我们可以在每次迭代之前从源代码中重新加载（或函数）而不丢失任何当前已执行过程。该工具对于在深度学习模型训练期间编辑源代码尤其好用，它让我们可以添加日志记录、打印统计数据或保存模型，而无需重新启动训练。
[数据概念]数据要素和智能算力市场关系解析
最新发布
IT鼹鼠
06-05 747
GPT-4o这些新的模型的推出，不仅是AI领域的一个重大突破，也是对算力和数据需求的一次极大推动。为了更好地把握这一趋势，企业和政府机构需要加大对相关技术的研发投入，培养专业人才，同时加强数据治理和安全保护，确保数据要素市场的健康发展。目前，国内多个城市已经布局或正在建设智能计算中心，如北京、上海、深圳等，这些中心不仅为AI企业提供了强大的算力支持，也成为推动地方经济发展的新引擎。数据标注和清洗服务需求的增长，数据交易和共享机制的建立，以及数据治理的加强，共同构成了数据要素市场的新生态。
LangChain大模型应用开发指南-AI大模型衍生的新能力
2401_85325557的博客
05-31 1074
本文以传统应用编程设计模式和思维为对比对象，介绍了LangChain基于AI大模型衍生出的三种新的能力：Model I/O、Retrieval和Memory，它们分别解决了传统AI应用开发中遇到的IO、Query和Storage方面的问题和挑战。通过利用这些能力，应用开发者可以开发出更简单、更高效、更创新的AI应用。通过本文的指导，读者可以迭代在传统应用编程中累积的思维方式和经验，充分利用了AI大模型衍生的新能力的创新应用。那么，我们该如何学习大模型？
llama-factory微调大模型
05-31 514
微调或者全量调大语言模型，还包括deepseek,想找个快速的微调教程，网上暂时没有。原理：搭建环境太累了，还是docker环境镜像简单快捷。如果用本身的会自动从huggingface下载，2、拉去LLAMA-factory repo。3、要根据自己的目录调整启动镜像。这下不了（也没有提示）
供应黑烟识别器公司哪家强?
shuxianshrng的博客
05-31 417
在选择时，可以关注那些在市场上具有良好口碑和广泛认可度的品牌，以及那些具有创新能力和持续研发实力的企业。通过了解黑烟识别器的基本原理与功能，掌握选择供应商的注意事项，以及关注市场上的优质供应商推荐，您将能够轻松选择到符合自身需求的黑烟识别器。然而，市场上供应黑烟识别器的公司众多，产品质量和性能参差不齐，让消费者在选择时感到困惑。优质的黑烟识别器需要具备高度的准确性和稳定性，而这离不开供应商强大的技术支撑和持续的研发投入。用户应关注供应商发布的最新产品和技术动态，及时了解和掌握新技术和新标准的应用情况。
Wake Lock Log 06-01 02:34:47.866 - 1000 - ACQ NetworkStats (partial) 06-01 02:34:47.866 - 1000 - ACQ *alarm* (partial) 06-01 02:34:47.915 - 1000 - REL NetworkStats 06-01 02:34:48.025 - 1000 - ACQ NetworkStats (partial) 06-01 02:34:48.039 - 1000 - ACQ WiredAccessoryManager (partial) 06-01 02:34:48.085 - 1000 - REL NetworkStats 06-01 02:34:48.089 - 1000 - ACQ NetworkStats (partial) 06-01 02:34:48.142 - 1000 - REL NetworkStats 06-01 02:34:48.148 - 1000 - ACQ NetworkStats (partial) 06-01 02:34:48.189 - 1000 - REL NetworkStats 06-01 02:34:48.196 - 1000 - ACQ NetworkStats (partial) 06-01 02:34:48.253 - 1000 - REL NetworkStats 06-01 02:34:48.266 - 1000 - ACQ NetworkStats (partial) 06-01 02:34:48.324 - 1000 - REL NetworkStats 06-01 02:34:48.332 - 1000 - ACQ NetworkStats (partial) 06-01 02:34:48.380 - 1000 - REL NetworkStats
06-13
这是一个Wake Lock日志，显示了一系列Wake Lock的获取和释放事件。Wake Lock是安卓系统中的一种机制，用于确保设备在特定条件下不会进入休眠状态。当某个应用程序需要在后台执行某些任务时，可以通过获取Wake Lock来防止设备进入休眠状态，以确保任务可以正常进行。 上述日志显示了一个名为"NetworkStats"的Wake Lock的获取和释放事件。在这个例子中，Wake Lock是部分唤醒（partial wake lock），这意味着设备在持有Wake Lock期间可以进入休眠状态，但是当设备从休眠状态醒来时，Wake Lock仍然保持有效状态。这种Wake Lock通常用于在后台执行某些长时间运行的任务，例如下载或上传数据等。 Wake Lock的获取和释放事件通常由应用程序或系统服务触发。在这个例子中，Wake Lock的获取和释放事件是由系统服务触发的，可能是由系统中的某个进程或服务持有Wake Lock以确保设备在特定情况下不会进入休眠状态。如果您发现Wake Lock持续保持活动状态并且导致设备耗电过多，您可以使用某些工具来帮助您分析Wake Lock的使用情况并找出问题的原因。例如，您可以使用"adb shell dumpsys power"命令来查看Wake Lock的使用情况，并使用Battery Historian等工具来分析Wake Lock的使用情况和设备的耗电情况。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值