【论文】【BLADE-FL 】When Federated Learning Meets Blockchain: A New Distributed Learning Paradig

最新推荐文章于 2023-10-16 16:42:54 发布
最新推荐文章于 2023-10-16 16:42:54 发布
阅读量741 收藏 4
点赞数
分类专栏： IT技术 联邦学习 区块链 文章标签： 区块链 机器学习 分布式
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sun_5flower/article/details/122050980
版权
本文介绍了BLADE-FL，一个结合区块链的去中心化联邦学习框架，解决了隐私保护、资源分配和懒惰节点等问题。BLADE-FL通过智能合约实现任务发布和激励机制，并通过自适应噪声和PN序列检测确保模型安全性和懒节点检测的有效性。
摘要由CSDN通过智能技术生成
When Federated Learning Meets Blockchain: A New Distributed Learning Paradigm
贡献 BLADE-FL（LearningChain）

1、设计BLADE-FL（blockchain assisted decentralized FL）框架（完全去中心化，全节点既负责训练又负责挖矿）；
2、并探讨了BLADE-FL中的问题（隐私、资源分配、懒客户的检测）并给出解决方案；
3、实验证明解决方案的有效性；

BLADE-FL框架介绍

完全去中心化：所有节点都参与训练ML模型并负责挖矿（发布聚合结果）角色切换

工作流

  1. 任务发布和节点选择
  2. 本地模型广播（ 模型更新+计算时间+本地数据大小）—隐私泄露问题
  3. 模型聚合（全节点聚合）
  4. 区块生成（训练节点变成矿工节点）-- 节点资源分配问题（训练+挖矿）
  5. 区块传播 – 懒节点问题
  6. 全局模型的下载和更新
  7. 奖励分配

智能合约功能

最低0.47元/天 解锁文章
Blockchain Assisted Decentralized Federated Learning 阅读笔记 TPDS’2022
weixin_42649288的博客
02-12 521
本文做的工作是把挖矿任务也交给训练模型的用户,即用户即要训练模型又要进行挖矿.同时本文计算了改方法的收敛上界,并用实验结果接近上界.最优化了挖矿和训练两种行为的计算资源分配.同时考虑了lazy clients的情况,考虑了lazy client的存在对性能的影响。目前的区块链联邦学习中的区块链和参与联邦学习的用户独立,相当于服务器换成了一条区块链,也会有。区块链:去中心化的账本.每个区块包含交易记录,新的区块由计算出随机数。实际实验也在相同的最优K的下达到最小loss。目前的区块链联邦学习的工作缺乏对。
【论文阅读】 Privacy-Preserving Byzantine-Robust Federated Learning via Blockchain Systems
卷卷卷不动的博客
03-20 1397
传统的联邦学习容易受到恶意客户端和服务器的中毒攻击，在本文中设计一个基于区块链系统的隐私保护拜占庭鲁棒联合学习（PBFL），我们使用余弦相似性来判断恶意客户端上传的恶意梯度。然后，我们采用全同态加密来提供安全的聚合最后，我们使用区块链系统来促进透明的流程和法规的实施。与传统的安全聚合场景不同，我们考虑了一个联合学习场景，其中包含nnn个客户端中的kkk恶意客户端。首先，我们将kkk恶意客户端的知识和能力定义如下:（1）恶意客户端可能保留自己的有毒数据，但无法访问其他诚实客户端的本地数据。
When Federated Learning Meets Blockchain A.pdf
01-07
When Federated Learning Meets Blockchain: A New Distributed Learning Paradigm 关键词：联邦学习、区块链、隐私和安全 主要贡献： 1）引入一个新的FL框架：基于区块链的联邦学习（BC-FL），使用区块链取代中央服务器。 2）提供激励机制。
【论文】联邦学习&区块链 论文集（三）
热门推荐
一定要站在自己热爱的生活里闪闪发光
11-20 3万+
21. Privacy-Preserving Blockchain Based Federated Learning with Differential Data Sharing （论述科普性文章） 关键词：区块链技术、差分隐私、以太坊、加密、联邦学习、激励学习、物联网、可扩展、安全 主要贡献： 1）介绍数据隐私； 2）介绍联邦学习 3）介绍区块链、介绍BFL； 4）介绍联邦学习在IOT中的应用。 arXiv:1912.04859 [cs.CR] 22. When Federated Learning
基于区块链的分层联邦学习
最新发布
qq_46034128的博客
10-16 2285
分层联邦学习（HFL）在保留联邦学习（FL）隐私保护优势的同时，减轻了通信开销，具有高带宽和丰富计算资源的优点。当FL的工作人员或参数服务器不可信或恶意时，方法是使用分层联邦学习。
Blockchained On-Device Federated Learning学习笔记
qq_42265220的博客
08-15 7227
Blockchained On-Device Federated Learning学习笔记一、文献翻译 一、文献翻译 知云文献翻译 在区块链的设备上进行联合学习 通过利用区块链，这封信提出了一个区块链联邦学习(BlockFL)架构，其中交换和验证本地学习模型的更新。通过使用区块链中的共识机制，可以在没有任何集中训练数据或协调的情况下实现设备上的机器学习。此外，我们分析了BlockFL的端到端延迟模型，并通过考虑通信、计算和共识延迟来表征最优的块生成速率。 ...
2018-FL分布式医学数据研究-Federated Learning in Distributed Medical Datab
08-03
总结起来，"2018-FL分布式医学数据研究"展示了联邦学习在解决医学数据隐私问题上的创新解决方案，通过分布式学习策略，能够在保护患者隐私的同时，实现大规模医学数据的高效分析和利用，这对于提升大脑疾病研究的...
A Blockchain-based Decentralized Federated Learning Framework wth Committee Consensus
l_zzy的博客
08-24 9062
A Blockchain-based Decentralized Federated Learning Framework with Committee Consensus 基于区块链的具有委员会共识的分散联邦学习框架 模型优点 High efficiency: only a few nodes will validate the updates, rather than broadcasting to every node and reach an agreement. K-fold：cross-va
论文笔记1《Federated Learning Meets Blockchain in Edge Computing：Opportunities and Challenges》
qq_39791611的博客
02-03 470
1.传统联邦学习的弱点：数据隐私问题、原始数据通信的高开销 2.解决方案：通过协调多个移动设备来训练一个共享的人工智能模型，而不直接暴露它们的底层数据 3.FLchain：FL和区块链的集成，它可能将智能MEC网络转变为去中心化、安全和增强隐私的系统
激励机制相关论文的阅读
qq_52601548的博客
09-28 1127
解决问题：普通的基于区块链的联邦学习（BFL）的一个问题是它的功能不能以动态的方式满足采用者的需求。此外，普通的基于区块链的联邦学习（BFL）依赖于无法验证的客户端自我报告的贡献，如数据大小，因为出于隐私考虑，FL不允许检查客户端的原始数据。如何解决：设计和评估了一种新的BFL框架，并解决了普通的BFL中发现的挑战，具有更大的灵活性和激励机制，称为FAIR-BFL。解决问题：（对于FL来说）确保知识的安全性，处理参与者的懒惰行为以及实施更为有效的激励。时间：2022 Feb 18。
Federated learning 框架——leaf 探坑记录
01-20
leaf是一个联邦学习的框架，来自CMU，官网：https://leaf.cmu.edu/build/html/index.html      Github：https://github.com/TalwalkarLab/leaf/pulls 1、安装与配置环境 首先要在Github上下载leaf，之后安装 requirements.txt 中列出的 libraries。 这里面有几个坑：1、要用 pip3 下载，否则 tensorflow 可能出现空包 2、目前tensorflow发行了2.0系列的版本，但是leaf是用tensorflow1.x系列的语法写的，也就是说，需要修改requir
java web框架基础_blade - 简洁强大的javaweb框架
weixin_34501374的博客
02-16 299
blade 是一个简洁强大的web框架，它内置了IOC管理，拦截器配置，REST API开发等众多主流web特性，集成了模板引擎，缓存插件，数据库操作，邮件发送等常用功能，简洁的源码值得你阅读和学习。如果你喜欢，欢迎Star and Fork！Blade特性简洁的MVC & 拦截器REST风格API注解方式开发微内核IOC容器实用工具类模板引擎支持支持JDK1.6+内置Jetty启...
A Blockchain-Based Decentralized Federated Learning Framework with Committee Consensus
weixin_40942832的博客
10-17 1万+
本文简易框架demo源码 背景 问题定义 在联邦学习场景中，客户端通过交换模型梯度或更新后的模型参数，不暴露私人数据，从而合作训练一个共享的全局模型。但是容易存在恶意攻击的行为，分别是恶意客户端和中央服务器对模型或数据的攻击，导致存在安全性问题。 中央服务器的稳定性、公平性和安全性对FL至关重要。简单结合区块链，利用智能合约执行聚合、存储、共享全局模型可以避免中央服务器带来的挑战，但是给维护区块链的客户端节点造成巨大的计算量和网络传输压力，从而区块链的共识效率低下，可扩展性较差。 主要贡献 提出一
联邦学习+拆分学习|SplitFed: When Federated Learning Meets Split Learning
weixin_43235829的博客
03-29 8555
研究背景： 对于机器学习 一个简单的方法是对原始数据进行中央池化。然后，分析人员访问汇集数据的中央存储库，对整个数据集进行ML。这种方法称为Data-toModeler (DTM)[3]。 第二种方法是利用分布式协作学习(DCL)。它支持在多个系统或服务器和终端设备(如移动电话)上进行计算，而数据驻留在源设备中。由于分布式数据不是集中在一个中央存储库中，DCL为数据集提供了一定程度的隐私。但是，仍然存在隐私风险，因为服务器或分布式系统可能不是受信任的平台。在这方面，人们提出了各种保护隐私的计算技术。包括同
【论文】【PIRATEA】 blockchain-based secure framework of distributed machine learning in 5g networks
sun_5flower的博客
12-17 1万+
PIRATE: A blockchain-based secure framework of distributed machine learning in 5g networks 主要贡献： 5G时代，通信延迟和网络带宽不再是移动设备的瓶颈，每个移动设备都可参与分布式学习（可用性），分布式系统在上传本地模参和聚合模型过程中可能会遭受拜占庭攻击，模型安全成为新的问题； 拜占庭攻防，本文提出基于区块链分片技术(sharding)的安全计算框架（PIRATE） 待解决的问题 移动设备计算力足够，但因设备异
【LearningChain】WhenMachineLearningMeetsBlockchainADecentralizedPrivacy-preserving and SecureDesign
sun_5flower的博客
12-23 1万+
When Machine Learning Meets Blockchain: A Decentralized, Privacy-preserving and Secure Design 主要贡献 1、提出基于区块链的去中心化的联邦系统LearningChain，考虑了线性和非线性模型（传统FL对非线性模型的隐私问题关注较少），并理论分析其安全性和隐私性； 2、提出一个拜占庭容错的聚合算法( l-nearest aggression)； 3、设计不同的隐私策略来保护数据持有者的隐私，线性或非线性模型中； 3
Window10 上MindSpore(CPU)用LeNet网络训练MNIST
sun_5flower的博客
09-21 3243
Windows10 Miniconda 4.8.3 Python 3.7.7 MindSpore r0.7 mindspore的gitee地址 本文是在windows10上安装了CPU版本的Mindspore,并在mindspore的master分支基础上使用LeNet网络训练MNIST数据集，实践已训练成功，此文为记录过程中的出现问题； 【1】首先使用conda activate mindspore 进入mindspore虚拟环境 【2】再切入mindspore中lenet网络的train.py所在.
【论文】【CwMed】Byzantine-Robust Distributed Learning: Towards Optimal Statistical Rates
sun_5flower的博客
12-20 1515
Byzantine-Robust Distributed Learning: Towards Optimal Statistical Rates 摘要： 1、提出一个分布式优化算法健壮性和最佳性能的证明方式； 2、基于证明方式提出了两种满足鲁棒性的分布式梯度下降算法（基于中位数或基于修剪后的平均操作）； 3、为增强通信效率，提出一个基于中位数的仅使用一轮通信的分布式算法，并证明了其鲁棒性，并证明在强凸二次损失中，该算法与鲁棒分布式梯度下降算法具有相同的最优错误率。 背景介绍： 1、1982年Lamport提
Multi-objective Evolutionary Federated Learning
03-30
Multi-objective evolutionary federated learning (MEFL) is a machine learning approach that combines the principles of multi-objective optimization and federated learning. Multi-objective optimization is a technique that aims to optimize multiple objectives simultaneously, while federated learning is a decentralized machine learning approach that allows multiple devices to train a model collaboratively without sharing their data. MEFL is designed to overcome the limitations of traditional federated learning approaches, which often suffer from issues related to privacy, communication, and scalability. By using multi-objective optimization, MEFL can optimize the performance of the federated learning algorithm while also addressing these issues. MEFL works by dividing the optimization problem into multiple objectives, such as minimizing the loss function, reducing communication costs, and preserving privacy. A genetic algorithm is then used to optimize these objectives simultaneously, producing a set of Pareto-optimal solutions that represent the trade-offs between the different objectives. These Pareto-optimal solutions can then be used to select the best model for deployment, depending on the specific requirements of the application. MEFL has been shown to be effective in a wide range of applications, including image classification, natural language processing, and speech recognition. Overall, MEFL represents a promising approach to federated learning that can improve the privacy, communication, and scalability of the algorithm while also optimizing its performance.
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值