FedBN总结

最新推荐文章于 2025-04-30 19:42:35 发布
最新推荐文章于 2025-04-30 19:42:35 发布
阅读量5.7k 收藏 23
点赞数 6
分类专栏： 联邦学习 文章标签： 人工智能 大数据 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42534493/article/details/120074758
版权

《FEDBN: FEDERATED LEARNING ON NON-IID FEATURES VIA LOCAL BATCH NORMALIZATION》ICLR 2021。文章通过在局部模型中加入批量归一化层（BN）解决联邦学习数据异构性中feature shift这种情况（之前很多文章都是研究label shift或client shift），文章将这种方法名为FedBN。

什么是feature shift

y为标签，x为特征，文章将feature shift定义为以下情况：
1)covariate shift：即使所有客户的 P i P_i Pi​

最低0.47元/天 解锁文章
联邦学习框架对比：TensorFlow Federated vs PySyft实战
AI天才研究院
06-01 1117
随着《数据安全法》《个人信息保护法》的出台，“数据不出域”成为企业合规红线。联邦学习作为“在本地训练模型，仅交换模型参数”的隐私保护技术，成为解决“数据孤岛”与“隐私保护”矛盾的关键。本文聚焦工业级联邦学习框架对比理解联邦学习核心机制掌握TFF与PySyft的技术差异根据业务需求选择合适框架用“小学生分糖果”故事引出联邦学习核心思想拆解联邦学习三大核心概念（本地化训练、模型聚合、隐私增强）分别详解TFF与PySyft的架构设计与核心组件。
联邦学习中常见的Clients数据Non-IID非独立同分布总结
热门推荐
捡起一束光的博客
10-08 1万+
联邦学习中客户端数据Non-IID分布的五种类型。类型1：Feature distribution skew。类型2：Label distribution skew... 联邦学习中客户端之间Non-IID分布和我们在做机器学习任务时可能遇到的训练集与测试集分布不一致其实是一个道理......
联邦学习+语义通信阅读记录（六）
邱邱的物联网成长之路
08-13 1358
发送者无法知道。发射机上的实际可观察数据也可能与共享背景知识库中的经验数据分布不相同。针对这些实际问题，本文提出了一种基于神经网络的新型图像传输语义通信系统，其中任务在发射者处是无意识的，数据环境是动态的。该系统由两个主要部分组成，即语义编码（SC）网络和数据自适应（DA）网络。SC 网络学习如何使用接收者主导的训练过程来提取和传输语义信息。通过使用迁移学习的领域适应技术，DA网络学习如何将观察到的数据转换为SC网络无需重新训练即可处理的经验数据的类似形式。
Batch Normalization在联邦学习中的应用
联邦学习小白
09-22 1542
回想一下联邦学习（FL）中的FedAvg，这个算法是将每个参与方的模型的所有参数进行加权平均聚合，包括Batch Normalization（BN）的参数。 再回顾一下BN。式中µ和σ2σ^2σ2为BN统计量，是通过每个channel的空间和批次维度计算而得的running mean和running variances。γ和β为实现"变换重构"的超参数。ε用于预防分母为零。 我们知道FL的一个重要意义就在于保护参与方的数据隐私，而BN层的统计参数µ和σ2σ^2σ2实际上在一定程度上隐含着本地数据的统计信息
联邦学习的收敛性分析(全设备参与，不同本地训练轮次)
最新发布
qq_42890035的博客
04-30 733
在联邦学习中，我们的目标是分析全局模型的收敛性，考虑设备异构性（不同用户的本地训练轮次不同）和数据异质性（用户数据分布不均匀）。以下推导从全局模型更新开始，逐步引入假设并推导期望损失的递减关系，最终给出收敛性结论。的偏差，反映数据分布的差异。相关的常数，后续可进一步推导其具体形式。的数据量，表明数据量越大，偏差越小。为常数，反映数据量对梯度幅度的约束。这一步考虑了不同用户的本地训练轮次。由于数据异质性，各用户的本地梯度。假设偏差在用户间近似抵消，即。为适应不同用户的本地训练轮次。轮本地训练时的梯度。
论文分享：「FED BN」使用LOCAL BATCH NORMALIZATION方法解决Non-iid问题
m0_69580723的博客
08-09 1820
提出了FedBN，给出了在联邦场景下使用BN来缓解feature shift的方法，并证明了其收敛性和有效性。FedBN的方法和通信、优化器方法是正交的，在实际使用中可以组合使用。FedBN在算法是对FedAvg只做了很小的改动，在实际中还可以与其他联邦strategy进行结合使用（Pysyft、TFF等已集成）。FedBN已经在医学健康，自动驾驶等领域被证明是很有效的策略...
推荐项目：FedBN——联邦学习在非 IID 特征上的新突破
gitblog_00038的博客
05-31 576
推荐项目：FedBN——联邦学习在非 IID 特征上的新突破 去发现同类优质开源项目:https://gitcode.com/ 在当今数据隐私日益受到重视的时代，FedBN: Federated Learning on Non-IID Features via Local Batch Normalization 开源项目成为了解决分布式异构数据挑战的明星方案。本项目由一群来自学术界和工业界的精英共...
【联邦学习论文阅读】常用算法理解（SCAFFOLD、FedPD、FedBN）-目前仅SCAFFOLD
weixin_42567789的博客
05-05 7205
SCAFFOLD（ICML-2020）：SCAFFOLD: Stochastic Controlled Averaging for Federated Learning FedPD：https://arxiv.org/abs/2005.11418 FedBN（ICLR 2021）：FEDBN: FEDERATED LEARNING ON NON-IID FEATURES VIA LOCAL BATCH NORMALIZATION
联邦学习经典算法总结
ylycrp的博客
11-02 1万+
联邦学习FL
FedBN结构图
03-30
### FedBN 架构概述 FedBN 是一种联邦学习架构，旨在解决跨设备或跨机构数据分布不均的情况下的模型训练问题。其核心思想是在本地模型中引入批量规范化（Batch Normalization, BN），从而更好地适应不同客户端的...
fedbn训练自己的数据集
04-08
FedBN是一种用于训练自己的数据集的方法，它是基于联邦学习和批量归一化（Batch Normalization）的结合。联邦学习是一种分布式机器学习方法，它允许在保护数据隐私的前提下，将多个参与方的数据进行模型训练。而批量...
联邦学习中非独立同分布（No I.I.D.）几种情况
charlessun9的博客
09-30 1万+
介绍了当前联邦学习中非独立同分布的几种分类，从Dataset drift切入，然后举例介绍了5种分类的区别。
深度学习入门（十五）环境和分布偏移（了解）
ElysiumAILab
11-02 3266
环境和分布偏移 教材 分布偏移的类型 协变量偏移 标签偏移 概念偏移 分布偏移示例 医学诊断 自动驾驶汽车 非平稳分布 更多轶事 分布偏移纠正 经验风险与实际风险 协变量偏移纠正 标签偏移纠正 概念偏移纠正 学习问题的分类法 批量学习 在线学习 老虎机 控制 强化学习 考虑到环境 机器学习中的公平、责任和透明度
RESA: Recurrent Feature-Shift Aggregator for Lane Detection (AAAI 2021)
qq_42178122的博客
11-11 6105
公开视频：https://www.bilibili.com/video/BV1664y1o7wg 论文：https://arxiv.org/abs/2008.13719 源码：https://github.com/ZJULearning/resa 现有的车道线检测方法 1.基于霍夫变换的传统车道线检测方法，缺点在于不能处理复杂场景（遇到遮挡），不能检测曲线 2.基于聚类的实例分割，例如lanent，缺点在于需要后处理，实时性较低，而且聚类的结果存在随机性 3.语义分割 例：SCNN 4.基于行分类的网络化，
GPFL个性化联邦学习：同时学习全局和个性化特征信息
m0_48022770的博客
04-16 1056
提高模型的泛化能力是机器学习中一个重要的目标，因为我们通常希望训练出的模型能够对各种不同的情况和数据都能够做出准确的预测或分类。总的来说，label skew、feature shift和real world settings都是影响模型性能和泛化能力的重要因素，研究人员和从业者需要注意这些问题并采取相应的策略来处理，以提高模型在实际应用中的效果。2. 简化模型：减少模型的复杂度，例如减少神经网络的层数或节点数，使用正则化方法（如L1正则化、L2正则化）等，可以降低模型的拟合程度，减少过度拟合的风险。
【联邦学习】实验思路分析01
qq_74225552的博客
10-24 675
本文仅对《FedDrive: Generalizing Federated Learning to Semantic Segmentation in Autonomous Driving》中的实验思路进行简单梳理，供实验设计和实施提供参考，暂不涉及具体的实现算法细节和理论知识总结，学习中。
李沐动手学深度学习第四章-4.9.环境和分布偏移
nousefully的博客
09-09 1202
无
群体智能中的联邦学习算法综述---简笔记（除安全类）
weixin_45671820的博客
05-22 3162
群体智能中的联邦学习算法简述介绍群体智能与联邦学习的关系联邦学习框架分类中心化联邦半中心化联邦去中心化联邦（未涉及区块链等隐私的研究，所以未总结）精度优化泛化性优化收敛性优化效率优化模型神经网络开源平台（FATE[86]、TFF（TensorFlow federated）[87]、PySyft [88]、FedML [89]、Flower [90]）隐私应用 [1]杨强,童咏昕,王晏晟,范力欣,王薇,陈雷,王魏,康焱.群体智能中的联邦学习算法综述[J].智能科学与技术学报,2022,4(01):29-44.
深度学习中的Benchmark，Baseline，Backbone和SOTA的比较说明举例分析
呆呆象呆呆的博客
08-17 1万+
1 Benchmark 1.1 中英文直译 基准；水准点；衡量尺度 A benchmark is something whose quality or quantity is known and which can therefore be used as a standard with which other things can be compared. 1.2 解释说明举例 是一种标准、规则，不一定是最好的，但一定是最有代表性的，已经被广泛研究且被广泛认可的，对它性能的表现形式、测量方法都非常
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

联邦学习小白

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值