联邦学习
文章平均质量分 77
Federated Learning
牧心.
心之所向,素履以往
展开
-
【联邦学习】激励机制
总览横向联邦学习中的数据标签质量差异问题请专家在服务器端做一个质量比较高的数据集。Y. Chen, X. Yang, X. Qin, H. Yu, B. Chen & z. Shen, "FOCUS: Dealing with Label Quality Disparity in Federated Learning,'CoRR, arXiv:2001.11359, 2020.纵向联邦学习中的参与方和特征重要性评估问题Siwei Feng & Han Yu, “Mult原创 2021-12-20 14:38:50 · 461 阅读 · 0 评论 -
【论文笔记】BlockFLA: Accountable Federated Learning via Hybrid Blockchain Architecture
0. 关键词混合区块链、超链、以太坊、机器学习、后门攻击、联邦学习、联邦平均1. 摘要隐藏训练数据使攻击者有机会向训练好的模型注入后门攻击。很多研究试图通过设计健壮的聚合函数来减轻后门攻击的威胁,作者从一个互补的角度来研究这个问题——目标使通过检测和惩罚攻击来阻止后门攻击。为此,作者开发了一个基于区块链的混合FL框架,该框架使用智能合约来自动检测并通过罚款来惩罚攻击者。文章设计的框架是通用的,任何聚合函数和任何攻击者检测算法都可以插入其中。作者进行了实验来证明框架的通信效率,并提供了实验结果来说原创 2020-11-25 22:27:05 · 28756 阅读 · 8 评论 -
【论文】论文搜集+摘要翻译
1.【Blockchained On-Device Federated Learning】通过利用区块链,这封信提出了一种区块链联合学习(BlockFL)架构,在该架构中可以交换和验证本地学习模型更新。通过利用区块链中的共识机制,这使得无需任何集中训练数据或协调即可进行设备上机器学习。此外,我们分析了BlockFL的端到端延迟模型,并通过考虑通信,计算和共识延迟来描述最佳块生成速率。2.【Decentralized Privacy Using Blockchain-Enabled Federa.原创 2020-09-19 16:26:02 · 35013 阅读 · 2 评论 -
【笔记】《Federated Learning With Blockchain for Autonomous Vehicles Analysis and Design Challenges》精读笔记
论文信息DOI:10.1109/TCOMM.2020.2990686目录1.摘要2.背景3.本文贡献4.BFL模型详述4.1 模型概述4.2模型问题与解决4.3 两个算法5.BFL块到达过程6.延迟最小化7.结论8.未来潜在研究方向1.摘要作者提出了基于区块链的联邦学习(BFL),用于隐私感知和高效的车辆通信网络。其中自动驾驶车辆车载机器学习(oVML)模型更新以分布式进行交换和验证。(与相邻车辆进行数据交易) 奖励机制...原创 2020-11-09 14:54:02 · 27959 阅读 · 0 评论 -
【论文】几篇论文核心思想概述
1.《Blockchain and Federated Learning for Privacy-Preserved Data Sharing in Industrial IoT》在本文中,作者提出了一种基于许可区块链的不同私有的多方数据模型共享方法。我们没有直接共享原始数据,而是结合了联邦学习算法,将原始数据映射到相应的数据模型中,通过由本地用户进行分布式培训,解决了学习阶段的隐私问题。我们还设计了一个基于区块链的分布式数据共享体系结构,使区块链能够保证数据的检索,并保证模型的精确训练。本文中的主要贡原创 2020-10-05 21:24:12 · 33950 阅读 · 1 评论 -
【论文】联邦学习&区块链 论文集(二)
11. Blockchain-based Federated Learning for Failure Detection in Industrial IoT关键词:区块链、联邦学习、机器学习、边缘计算、物联网、失败主要贡献:1)一种平台体系结构,提供系统交互的系统视图,并作为IIoT故障检测中基于区块链的联邦学习系统的设计指南。架构设计涉及以下架构设计决策:模型培训的安排、监控客户数据的存储、客户的激励机制以及区块链的部署。2)一种称为质心距离加权联邦平均(CDW FedAvg)的联邦平均算法,原创 2020-11-20 14:32:57 · 31674 阅读 · 3 评论 -
【论文】联邦学习&区块链 论文集(一)
1. Blockchained On-Device Federated Learning关键词:联邦学习、区块链、延迟分析主要贡献:1)用区块链网络来代替中央服务器;2)提供验证和相应的激励机制3)研究BlockFL端到端学习完成延迟, 通过调整块生成率来使延迟最小化2. Decentralized Privacy Using Blockchain-Enabled Federated Learning in Fog Computing关键词:区块链、联邦学习、雾计算、隐私保护主要贡献:原创 2020-11-20 14:31:26 · 32998 阅读 · 1 评论 -
【论文】联邦学习&区块链 论文集(三)
21. Privacy-Preserving Blockchain Based Federated Learning with Differential Data Sharing (论述科普性文章)关键词:区块链技术、差分隐私、以太坊、加密、联邦学习、激励学习、物联网、可扩展、安全主要贡献:1)介绍数据隐私;2)介绍联邦学习3)介绍区块链、介绍BFL;4)介绍联邦学习在IOT中的应用。arXiv:1912.04859 [cs.CR]22. When Federated Learning原创 2020-11-20 14:34:02 · 31332 阅读 · 1 评论 -
【论文笔记】《Blockchained On-Device Federated Learning》精读笔记
1.INTRODUCTION传统的联邦学习主要有以下局限性:(1)依赖单一的中央服务器,容易受到服务器故障的影响;(2)没有合适的奖励机制来刺激用户提供数据训练和上传模型参数。对此,作者提出了【基于区块链的区块链联邦学习(BlockFL)】:(1)用区块链网络来代替中央服务器,区块链网络允许交换设备的本地模型更新;(2)加入验证和提供相应的奖励机制。加入区块链之后,还要考虑延迟问题,因为越高的延迟会导致越多的forking现象。造成延迟的原因主要有以下几个:comp原创 2020-09-28 22:41:28 · 35561 阅读 · 2 评论 -
【论文笔记】《FLchain: Federated Learning via MEC-enabled Blockchain Network》精读笔记
Information of the paper:DOI:10.23919/APNOMS.2019.8892848目录1. Abstract2. Preliminaries and Definitions2.1 Channel2.2 Global Model State Trie3. System Model3.The Operation of FLchain3.1FLchain过程3.2 Transaction Pool3.3 Global Mo...原创 2020-10-07 23:06:32 · 33918 阅读 · 2 评论 -
【联邦学习】FATE安装与部署(单机部署)
FATE支持Linux或Mac操作系统,目前最新版本为FATE v1.5 (2020年10月)。FATE支持单机部署、集群部署和KubeFATE部署三种方式,其中单机部署和集群部署都属于原生(Native) 部署方式,要求开发人员配置必要的开发环境和依赖库,主要包括JDK 1.8+、Python 3.6、Python virtualenv、MySQL 5.6+、Redis 5.0.2等。注意,FATE正在不断的开发和完善中,版本不同,所依赖的环境及安装方法也会发生改变。要了解最新版本的安装步骤,可参考FAT原创 2021-05-10 16:23:48 · 24387 阅读 · 7 评论 -
【联邦学习】隐私计算理论和效率
主讲:1. 隐私计算:背景随着大数据、机器学习与互联网经济的不断发展,人们对用户数据隐私保护的要求也不断提升,涉及数据保护的立法也不断完善。• GDPR of EU, 2018• CCPA of USA, 2018• Cyber Security Law of China,2017数据孤岛:各个公司、组织和个人之间互相孤立、不共通数据,难以通过大数据的优势获得机器学习模型的增益。2. 隐私计算如何在保护数据隐私不泄露的前提下,协同多方参与计算:• 隐私定义• 隐私度量.原创 2021-04-29 22:34:31 · 21474 阅读 · 1 评论 -
【联邦学习】CCF-ADL115 隐私保护机器学习(一) 联邦学习与推荐系统
一、联邦学习与推荐系统1. 迁移学习:跨点。当“低垂的果实”被摘完之后,迁移学习会“火”起来。2. 人工智能的历史:先逻辑推理,后感官识别。3. 什么是人工智能?算法、算力、大数据。有人说AI是“二八定律”,即数据占80%,模型占20%。杨强教授不同意这种观点,他认为“数据的压缩是模型,模型是数据的反映,数据本身就是模型,数据与模型是不可分的“。4. AI的力量来自大数据。5. 迁移学习:比喻为”老师教学生,学生是一张白纸“。 联邦学习比喻为”学生的学习小组“。二、个人隐私与数据原创 2021-04-25 22:12:01 · 22032 阅读 · 2 评论 -
【论文笔记】Data Valuation using Reinforcement Learning
提出了一种新的基于元学习的数据评估方法。与以前的工作不同,我们的方法将数据评估集成到预测模型的训练过程中。这使得预测模型能够从对给定任务更有价值的样本中获得额外的监督,从而提高预测器和数据评估性能。为了推断数据值,我们提出了一个数据值估计器(DVE),它估计数据值并选择最有价值的样本来训练预测器。这种选择操作基本上是不可微的,因此不能使用传统的基于梯度下降的方法。相反,我们建议使用强化学习(RL),以便对分布式虚拟环境的监督基于在小验证集上量化预测器性能的奖励。在给定状态、输入样本的情况下,奖励将策略的原创 2021-04-15 23:02:56 · 643 阅读 · 0 评论 -
【论文笔记】Profit Allocation for Federated Learning
衡量联邦学习中各参与者对全局模型的贡献。论文水平:CCF-C类会议Profit Allocation for Federated Learning1. Instruction实际使用联邦学习的一个关键因素是如何将联邦模型获得的利润分配给每个数据提供者。对于公平的利润分配,量化每个数据提供者对联邦模型的贡献的指标是必不可少的。Shapley value是合作博弈理论中的一个经典概念,它为所有参与者的联邦产生的总盈余分配一个唯一的分布(在参与者之间),并已用于机器学习服务中的数据评...原创 2021-04-14 21:56:01 · 557 阅读 · 0 评论 -
【论文笔记】An Exploratory Analysis on Users’ Contributions in Federated Learning
在本文中,我们旨在回答激励如何从诚实和恶意用户中识别准确的本地模型,并感知它们对联邦学习系统模型准确性的影响。在本文中,我们研究了激励机制对联邦学习系统模型质量的影响,考虑了两类参与者:i)具有不同更新质量的诚实参与者 和 ii)故意发送低质量更新的参与者。我们展示了激励机制是如何描述这两类参与者的贡献的,并调查了导致最大模型准确性的最先进的激励机制。本文贡献1)在诚实的参与者面前提供了一个关于贡献度量和激励机制的探索性分析。...原创 2021-03-03 22:49:00 · 417 阅读 · 0 评论 -
【论文笔记】Estimation of Individual Device Contributions for Incentivizing Federated Learning
本文提出了一种计算和通信效率高的方法来估计参与设备的贡献水平。所提出的方法通过减少对流量和计算开销的需求,在单个FL训练过程中实现了这种估计。使用MNIST数据集进行的性能评估表明,所提出的方法准确地估计了单个参与者的贡献,与简单的估计方法相比,计算开销减少了46-49%,并且没有通信开销。背景物联网在支持联邦学习和保护数据隐私方面显示出巨大优势,但她仍然面临着一个公开的挑战,即通过贡献计算能力和数据[7]来激励物联网设备的所有者加入物联网的努力。一个直观的想法是根据参与者的贡献进行奖励。然...原创 2021-03-03 16:56:28 · 408 阅读 · 1 评论 -
【论文笔记】Measure Contribution of Participants in Federated Learning
论文水平:CCF-C会 2019 IEEE International Conference on Big Data (Big Data)摘要本文开发了一种技术来公平计算联邦学习的参与者在横向联邦和纵向联邦中的贡献。对于横向联邦,作者使用删除方法来计算分组实例的影响。对于纵向联邦,作者使用Shapley值来计算分组特征的重要性。Instruction单纯地贡献大的数据量对模型训练的帮助并不大,需要公平的衡量数据质量。对于横向联邦,使用删除实例并重新训练模型,计算新模型...原创 2021-02-02 00:50:19 · 483 阅读 · 0 评论 -
【论文笔记】A Sustainable Incentive Scheme for Federated Learning
论文水平:SCI-II区——IEEE INTELLIGENT SYSTEMS, VOL. XX, NO. X, 2019论文核心:在联邦学习中,解决如何量化数据所有这报酬的问题。0. 背景现有的收益分享技术没有考虑回报和贡献之间暂时的不匹配。1. 本文贡献作者提出了一个动态收益分享方案——联邦学习激励器(FLI)。这是一种多项式时间算法,可以通过分期付款计算收益共享的解决方案,以实现数据所有这之间的公平性。它通过共同最大化产生的集体效用,并且最小化数据所有者之间在收益和接收全部收益的.原创 2021-01-26 23:47:55 · 421 阅读 · 0 评论 -
【论文笔记】A Multi-player Game for Studying Federated Learning Incentive Schemes
论文水平:A会——Proceedings of the T wenty-Ninth International Joint Conference on Artificial Intelligence (IJCAI-20) Demonstrations Track文章提出了一个多人博弈模型FedGame来研究FL参与者在不同激励方案下如何做除行动选择决策。决策过程可以分析和可视化,为未来的激励机制设计提供参考。FedGame支持以下激励方案:1)线性:参与者在总回报中的份额与其贡献数据的..原创 2021-01-20 15:49:47 · 415 阅读 · 0 评论 -
论文笔记Incentive Design for Efficient Federated Learning in Mobile Networks: A Contract Theory Approach
论文简介APWCS 2019:IEEE亚太无线通信研讨会研究背景联邦学习中,在task publisher之间和mobile device存在信息不对称问题:publisher不知道device的(1)计算资源的数量和数据大小。(2)本地数据质量。结果,当向device提供奖励时,publisher可能花费更高的成本。本博文引入核心:如何衡量参与者的数据质量?参与者角度:效能最大、耗能最少 任务发布者角度:利润最大 引入了一个参数:????????作者根据原创 2021-01-15 00:55:06 · 412 阅读 · 0 评论 -
【联邦学习】综述《Advances and Open Problems in Federated Learning》论文结构
该文章由来自麻省理工、斯坦福、加州大学、南阳理工、谷歌等25所国际知名高校(机构)的58位学者联合发表,文章源于2019年6月17日至18日在谷歌西雅图举办的联邦学习学习和分析研讨会,共105页,调研了438篇文献,讲解了最新的联邦学习进展,并提出大量开放型问题。先把文章的结构图放在这里,后面陆续更新论文细节。...原创 2020-12-14 22:08:11 · 28303 阅读 · 0 评论 -
【联邦学习】读书笔记(二) 隐私保护技术
本文的隐私保护技术,包括三种方法。安全多方计算 同态加密 差分隐私1.安全多方计算安全多方计算最初是针对一个安全两方计算问题,即所谓的“百万富翁问题”被提出的,并于1982年有姚期智提出和推广。安全多方计算允许我们计算私有输入值的函数,从而使每一方只能得到其相应的函数输出值,而不能得到其他方的输入值与输出值。安全多方计算能够通过三种不同的框架来实现:不经意传输(Oblivious Transfer,OT) 秘密共享(Secret Sharing,SS) 阈值同态加密(Th.原创 2020-11-22 19:54:21 · 30027 阅读 · 6 评论 -
【联邦学习】读书笔记(二) 隐私、安全及机器学习
1、面向隐私保护的机器学习英文名:PPML:Privacy-Preserving Machine Learning2、面向隐私保护的机器学习及安全机器学习在机器学习中,敌手被假设违反了机器学习系统的完整性和可用性。在PPML中,敌手被假设违反了机器学习系统的隐私性和机密性。1. 完整性。对完整性的攻击可能导致机器学习系统会出现检测错误。2. 可用性。对可用性的攻击可能导致系统会出现分类错误。3. 机密性。对机密性的攻击可能导致一些机器学习系统的敏感信息(如训练数据或训练模.原创 2020-11-13 23:06:00 · 28546 阅读 · 0 评论 -
【联邦学习】杨强教授联邦学习公开课视频及问答整理
4月13日,咱们微众银行首席人工智能官杨强教授也做客雷锋网,结合最新发布的《联邦学习白皮书v2.0》,对联邦学习研究与应用价值展开了最前沿的讨论和分享。这是雷锋网《金融联邦学习公开课》第一期。这一系列课程将为金融界和人工智能界,输出最前沿、最具实用价值的联邦学习线上系列课。作为当前人工智能尤其是AI金融领域,最受工业界和学术界关注的研究方向之一。联邦学习有哪些前沿研究与应用?欢迎戳下方视频回顾精彩回放,同时直播PPT内容也上传到了我们公众号【FATE开源社区】(戳我前往查看PPT课件)视频链接h.转载 2020-11-09 17:44:00 · 27156 阅读 · 0 评论 -
【联邦学习】读书笔记(一)基础概念
0、前言1.联邦学习的动机(1)保护用户隐私和数据安全。(2)最大化地利用云系统下终端设备地计算能力。2.FL模式(1)B2C。如Google地Gboard系统。它也能支持边缘计算,云系统地终端(边缘)设备可以处理许多计算任务,从而减少了通过原始数据与中央服务器通信地需要。(2)B2B。多个组织联合起来搭建一个共享地机器学习模型。3.FL需要多个学科领域地合作。机器学习算法、分布式机器学习、密码学与安全、隐私保护数据挖掘、博弈论与经济学原理、激励机制设计、法律与监管要求。原创 2020-10-27 22:39:19 · 32650 阅读 · 1 评论