Blockchain Assisted Decentralized Federated Learning 阅读笔记 TPDS’2022

已于 2023-02-13 17:26:04 修改
阅读量427 收藏 2
点赞数 1
文章标签： 人工智能 深度学习 区块链 Powered by 金山文档
于 2023-02-12 19:30:54 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42649288/article/details/128988957
版权

Introduction

  1. 区块链可以用于取代联邦学习中的中心聚合服务器

  1. 目前的区块链联邦学习中的区块链和参与联邦学习的用户独立,相当于服务器换成了一条区块链,也会有隐私泄漏的风险

  1. 目前的区块链联邦学习的工作缺乏对收敛性能和资源分配的考虑

本文做的工作是把挖矿任务也交给训练模型的用户,即用户即要训练模型又要进行挖矿.同时本文计算了改方法的收敛上界,并用实验结果证明上界分析的正确性.最优化了挖矿和训练两种行为的计算资源分配.同时考虑了lazy clients的情况,考虑了lazy client的存在对性能的影响

PRELIMINARIES

  1. 联邦学习:参与方共享本地数据训练的本地模型,保护隐私

  1. 区块链:去中心化的账本.每个区块包含交易记录,新的区块由计算出随机数nonce的矿工的账本生成

PROPOSED FRAMEWORK

BLADE-FL

Computing Resource Allocation Model

假设要在t_sum 时间内完成训练

PERFORMANCE ANALYSIS OF THE BLADE-FL SYSTEM

Achievable Upper Bound Analysis

和最优loss的差距上界,得出上界和K(联邦学习总轮次)有关

得出最小化上界的K值

EXPERIMENTAL RESULTS

Experimental Setting

dataset

MNIST,Fashion-MNIST,Cifar-10,SVHN 都是图像分类问题

Learning models.

result

实际实验也在相同的最优K的下达到最小loss

loss和K的关系图是凸关系

ming overhead 一般

训练效果最好

Conclusion

  • 提出了BLADE-FL 框架, 让用户进行模型训练和挖矿工作, 避免了单点故障和隐私泄漏

  • 分析了框架的损失函数的上界,验证了上界和联邦学习轮次K是凸关系,利用K达到上界最优化

  • 实验验证了上界分析的正确性

未来工作

  • 设计激励机制

  • 识别lazy client

  • 损失函数缺少凸性时的性能需要进一步分析

大模型联邦学习
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
【论文】【BLADE-FL 】When Federated Learning Meets Blockchain: A New Distributed Learning Paradig
sun_5flower的博客
12-21 682
When Federated Learning Meets Blockchain: A New Distributed Learning Paradigm 贡献 BLADE-FL（LearningChain） 1、设计BLADE-FL（blockchain assisted decentralized FL）框架； 2、并探讨了BLADE-FL中的问题（隐私、资源分配、懒客户的检测）并给出解决方案； 3、实验证明解决方案的有效性； BLADE-FL框架介绍 完全去中心化：所有节点都参与训练ML模型并负责挖矿
A Blockchain-based Decentralized Federated Learning Framework wth Committee Consensus
l_zzy的博客
08-24 8965
A Blockchain-based Decentralized Federated Learning Framework with Committee Consensus 基于区块链的具有委员会共识的分散联邦学习框架 模型优点 High efficiency: only a few nodes will validate the updates, rather than broadcasting to every node and reach an agreement. K-fold：cross-va
基于区块链的分层联邦学习
qq_46034128的博客
10-16 1866
分层联邦学习（HFL）在保留联邦学习（FL）隐私保护优势的同时，减轻了通信开销，具有高带宽和丰富计算资源的优点。当FL的工作人员或参数服务器不可信或恶意时，方法是使用分层联邦学习。
激励机制相关论文的阅读
qq_52601548的博客
09-28 1035
解决问题：普通的基于区块链的联邦学习（BFL）的一个问题是它的功能不能以动态的方式满足采用者的需求。此外，普通的基于区块链的联邦学习（BFL）依赖于无法验证的客户端自我报告的贡献，如数据大小，因为出于隐私考虑，FL不允许检查客户端的原始数据。如何解决：设计和评估了一种新的BFL框架，并解决了普通的BFL中发现的挑战，具有更大的灵活性和激励机制，称为FAIR-BFL。解决问题：（对于FL来说）确保知识的安全性，处理参与者的懒惰行为以及实施更为有效的激励。时间：2022 Feb 18。
聚合方法、模型验证、节点选择
k___l的博客
09-28 616
总结：与经典的FL框架相比，NC层等价于中间层的作用，因此，NC层中的平均模型也会受到恶意攻击者的中毒攻击。同时，由于车辆收集的数据质量各不相同，高质量的数据共享意味着用户可以获得更可靠的服务，而低质量的数据则会降低服务的可靠性、驾驶体验或造成交通事故。（2）矿工选举和添加区块：考虑到车辆的计算能力有限，以及移动性的交互时间较短，如果哈希问题的难度设置的过高，会导致较长的块生成时间和计算功耗。提出了一种区块链辅助的物联网网络中的FL聚合方法，其中聚合节点的选择用于提高效率，区块链用于性能检验。
An attitudinal study of computer-assisted testing as a learning method
06-29
An attitudinal study of computer-assisted testing as a learning method AN ATTITUDINAL STUDY OF COMPUTER-ASSISTED TESTING AS A LEARNING METHOD' GLENN F. CARTWRIGIIT AND JEFFREY L. DEHEVENHKY ...
2019 Analog-and-Algorithm-Assisted Ultra-low Power Biosignal Acquisition Systems
09-07
Analog-and-Algorithm-Assisted Ultra-low Power Biosignal Acquisition Systems This book discusses the design and implementation aspects of ultra-low power biosignal acquisition platforms that exploit ...
Privacy-Preserving-Federated-Learning-I:我的“最后一年”项目的源代码-隐私保护联合学习（I）
03-28
隐私保护联合学习I 我的“最后一年”项目的源代码-隐私保护联合学习（I）数据预处理在以下位置下载原始数据： : 运行Data_Preprocessing.py以生成该项目所需的所有数据文件集中学习在Centralized_Training.py中：（1...
Sparse Bayesian Learning Assisted CFO Estimation Using Nonnegative Laplace Priors
02-08
a sparse Bayesian learning (SBL) is tailored to determine the CFO in this paper, ending up with the SBL assisted CFO (SBL-CFO) estimator. In particular, the CFO estimation problem is first formulated...
FitNets-master.zip_deep learning_teacher
09-20
Used concepts of knowledge distillation and hint based training to train a thin but deep student network assisted by a pretrained wide but shallow teacher network.
【联邦学习+区块链】TORR: A Lightweight Blockchain for Decentralized Federated Learning
WuwuwuH_的博客
11-15 1612
为了解决联邦学习方案中存在的问题，文章提出了一种用于联邦学习的轻量级区块链 TORR。一种新颖的共识协议可靠性证明旨在实现快速共识，同时减轻掉队者的影响。同时基于纠删码和周期性存储刷新策略设计了存储协议。
A Blockchain-Based Decentralized Federated Learning Framework with Committee Consensus
weixin_40942832的博客
10-17 1万+
本文简易框架demo源码 背景 问题定义 在联邦学习场景中，客户端通过交换模型梯度或更新后的模型参数，不暴露私人数据，从而合作训练一个共享的全局模型。但是容易存在恶意攻击的行为，分别是恶意客户端和中央服务器对模型或数据的攻击，导致存在安全性问题。 中央服务器的稳定性、公平性和安全性对FL至关重要。简单结合区块链，利用智能合约执行聚合、存储、共享全局模型可以避免中央服务器带来的挑战，但是给维护区块链的客户端节点造成巨大的计算量和网络传输压力，从而区块链的共识效率低下，可扩展性较差。 主要贡献 提出一
【论文】联邦学习&区块链 论文集（三）
热门推荐
一定要站在自己热爱的生活里闪闪发光
11-20 3万+
21. Privacy-Preserving Blockchain Based Federated Learning with Differential Data Sharing （论述科普性文章） 关键词：区块链技术、差分隐私、以太坊、加密、联邦学习、激励学习、物联网、可扩展、安全 主要贡献： 1）介绍数据隐私； 2）介绍联邦学习 3）介绍区块链、介绍BFL； 4）介绍联邦学习在IOT中的应用。 arXiv:1912.04859 [cs.CR] 22. When Federated Learning
2024钉钉杯A题思路详解
全栈川川
07-26 1935
2024钉钉杯思路
常见的文心一言的指令
知码客
07-25 1793
文心一言，作为百度研发的预训练语言模型“ERNIE 3.0”的一项功能，能够与人对话互动，回答问题，协助创作，高效便捷地帮助人们获取信息、知识和灵感。
AI智能技术驱动安全生产：智慧矿山视频智能监管新篇章
TSINGSEE青犀视频官方技术博客
07-26 782
当识别到有人员未按照要求穿戴安全帽、反光背心/工服时，将立即抓拍，并将告警信息上传到平台。
昇思25天学习打卡营第1天|快速入门
最新发布
07-28 478
昇思大模型平台是一个集算法选型、创意分享、模型实验和大模型在线体验为一体的AI学习与实践社区，而且还内置了AI实验室，它覆盖多领域任务，体验全流程开发，支持用户在线训练和推理可视化，可创建自己的项目空间对待开发者很友好，提供云上开发环境，无需配置环境，既可灵活调试运行代码，每天免费使用8个小时。
重塑生态体系 深挖应用场景 萤石诠释AI时代智慧生活新图景
07-25 1359
从“1+4+N”自然进化到“2+5+N”产品生态体系，萤石十年来不断迭代、不断升级，为家居生活带来更智慧的交互、更丰富的场景，萤石的下一个十年值得期待。来自全国各地的萤石合作伙伴、行业从业者及相关媒体，共聚杭州，共同见证拥抱AI的萤石，将如何全新升级，AI加持下的智慧生活又有何不同。用户只需轻轻抬起手腕，即可实现对家中智能设备的远程操控，如智能门锁可视对讲、安全警报的查看以及智能场景的控制等，极大地提升了生活的便捷性与智能化水平。，确保了数据的安全性，为用户提供更快、更便捷、更安全的家庭存储新选择。
安卓手机部署大模型实战
奇舞周刊
07-25 1164
本文作者系360奇舞团前端开发工程师前言自ChatGPT发布以来，大语言模型（Large language model, LLM)就成了AI乃至整个计算机科学的话题中心。学术界，工业界围绕大语言模型本身及其应用展开了广泛的讨论，大量的新的实践层出不穷。由于LLM对计算资源的需求极大，有能力部署大语言模型的公司和实验室一般通过搭建集群，然后开放API或者网页demo的方式让用户可以使用模型。在人们纷...
Journal of Computer Assisted Learning接受率
05-26
根据Journal of Computer Assisted Learning官方网站的信息，该杂志的接受率约为30％左右。但实际的接受率可能会受到投稿质量、主题相关性、竞争压力等因素的影响而有所变化。此外，该杂志还注重论文的创新性和实用...
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值