Batch Normalization在联邦学习中的应用

最新推荐文章于 2024-10-31 15:25:48 发布
最新推荐文章于 2024-10-31 15:25:48 发布
阅读量1.5k 收藏 9
点赞数 4
分类专栏： 联邦学习 文章标签： batch 机器学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42534493/article/details/120421453
版权

回想一下联邦学习（FL）中的FedAvg，这个算法是将每个参与方的模型的所有参数进行加权平均聚合，包括Batch Normalization（BN）的参数。
再回顾一下BN。式中µ和 σ 2 σ^2 σ2为BN统计量，是通过每个channel的空间和批

最低0.47元/天 解锁文章
群体智能中的联邦学习算法综述
weixin_70923796的博客
07-24 1251
摘要群体智能是在互联网高速普及下诞生的人工智能新范式。然而，数据孤岛与数据隐私保护问题导致群体间数据共享困难，群体智能应用难以构建。联邦学习是一类新兴的打破数据孤岛、联合构建群智模型的重要方法。首先，介绍了联邦学习的基础概念以及其与群体智能的关系；其次，基于群体智能视角对联邦学习算法框架进行了分类，从隐私、精度与效率3个角度讨论了联邦学习算法优化技术；而后，阐述了基于线性模型、树模型与神经网络模型的联邦学习算法模型；最后，介绍了联邦学习代表性开源平台与典型应用，并对联邦学习研究进行总结展望。关键词： 群体智
FedBN总结
联邦学习小白
09-04 5769
《FEDBN: FEDERATED LEARNING ON NON-IID FEATURES VIA LOCAL BATCH NORMALIZATION》ICLR 2021。文章通过在局部模型中加入批量归一化层（BN）解决联邦学习数据异构性中feature shift这种情况（之前很多文章都是研究label shift或client shift），文章将这种方法名为FedBN。 什么是feature shift y为标签，x为特征，文章将feature shift定义为以下情况： 1)covariate s
论文分享：「FED BN」使用LOCAL BATCH NORMALIZATION方法解决Non-iid问题
m0_69580723的博客
08-09 1807
提出了FedBN，给出了在联邦场景下使用BN来缓解feature shift的方法，并证明了其收敛性和有效性。FedBN的方法和通信、优化器方法是正交的，在实际使用中可以组合使用。FedBN在算法是对FedAvg只做了很小的改动，在实际中还可以与其他联邦strategy进行结合使用（Pysyft、TFF等已集成）。FedBN已经在医学健康，自动驾驶等领域被证明是很有效的策略...
推荐项目：FedBN——联邦学习在非 IID 特征上的新突破
gitblog_00038的博客
05-31 558
推荐项目：FedBN——联邦学习在非 IID 特征上的新突破 去发现同类优质开源项目:https://gitcode.com/ 在当今数据隐私日益受到重视的时代，FedBN: Federated Learning on Non-IID Features via Local Batch Normalization 开源项目成为了解决分布式异构数据挑战的明星方案。本项目由一群来自学术界和工业界的精英共...
阅读笔记2——BN层（Batch Normalization）
python_plus的博客
02-16 629
本文为阅读《深度学习之Pytorch物体检测实战》的笔记
详细解读nn.BatchNorm2d——批量标准化操作
热门推荐
北国觅梦
05-18 4万+
参考链接：完全解读BatchNorm2d归一化算法原理_机器学习算法那些事的博客-CSDN博客nn.BatchNorm2d——批量标准化操作解读_视觉萌新、的博客-CSDN博客_batchnormal2d 写着一篇博客的目的是为了彻底弄清楚里面具体是怎么计算的，同时也是因为有了太多的博客并没有深入理解，所以特地写一篇博客记录一下。也为了防止后来者脑壳疼。 如果有用的话，请记得点赞+关注哦 一、参数解读 torch.nn.BatchNorm2d(num_features, eps=1e-05, mo
联邦学习中的数据异构性问题综述
联邦学习小白
06-19 1万+
摘要 联邦学习中的数据异构性问题主要是由参与训练的各客户端的数据虽独立分布但不服从同一采样方法（Non-IID）所导致的，这一问题也导致模型精度的严重下降。如何缓解Non-IID带来的不利影响目前仍是一个开放性的问题。 目前已经有很多算法可以应用于这一问题的处理上，但由于这些算法的实验都是基于不同的数据划分策略，我们没办法系统地、直观地理解这些算法的优缺点。 为了能对各算法的性能进行一个比较，《Federated Learning on Non-IID Data Silos: An Experimental
联邦鲁棒性传播共享联邦学习中的对抗鲁棒性_Federated Robustness Propagation Sharing Ad
02-09
联邦学习（Federated Learning, FL）是一种新兴的分布式学习框架，它允许在不共享原始数据的情况下，从多个参与用户那里学习模型。这种学习模式的主要挑战之一来自于用户的异质性，用户的数据分布可能各不相同（非...
联邦学习学习笔记——论文理解《Communication-Efficient Learning of Deep Networks from Decentralized Data》
biongbiongdou的博客
02-17 3万+
Google — Federated Learning 联邦学习Google原文：《Communication-Efficient Learning of Deep Networks from Decentralized Data》 最近研读了这篇提出了联邦学习（Federated Learning）的文章，并整理了详细的笔记，内容主要是对原文的理解和整理，希望能帮助正在了解联邦学习的小伙伴们。 ...
联邦学习——基于知识蒸馏的多源域适应
联邦学习小白
07-25 3629
《KD3A: Unsupervised Multi-Source Decentralized Domain Adaptation via Knowledge Distillation》是一篇被ICML 2021接收的论文，论文作者来自浙江大学CAD&CG国家重点实验室。这篇文章提出一个对来自多个源域的模型进行知识蒸馏来构建可迁移的共识知识，并可应用于联邦学习的无监督多源域适应方法。 简介 传统的无监督多源域适应UMDA（Unsupervised Multi-source Domain Adaptat
人工智能 | ShowMeAI资讯日报 #2022.06.01
ShowMeAI研究中心
06-07 1万+
ShowMeAI资讯日报 2022-06-01 期，AI领域【工具&框架】【项目&代码】【博文&分享】【数据&资源】【研究&论文】最新动态关键词：数据标注、人脸识别、对话系统、对话数据集…点击阅读全文
深度学习基础知识-Batch Normalization（BN）超详细解析
lqq
10-31 3536
在深层神经网络（Deep Neural Networks, DNNs）中，层与层之间的输入分布会随着参数更新不断发生变化，这种现象被称为内部协变量偏移（Internal Covariate Shift）。具体来说，由于网络层逐层堆叠，各层参数的更新可能会导致前一层的输出分布发生变化，进而影响到下一层的输入分布。不稳定的梯度传播：随着层数的加深，输出的分布在层与层之间逐渐偏离原始的分布，使得梯度变得不稳定，从而导致梯度消失或梯度爆炸等问题。训练收敛速度变慢。
机器学习：BN层介绍及深入理解
Hello大家好，我是Dream，如果帮得到你，那我深感荣幸！想进粉丝福利群及免费送书群，直接私信我拉你。交流学习、商务合作：https://bbs.csdn.net/topics/614347534
02-13 3548
BN在深度网络训练过程中是非常好用的trick，在笔试中也很常考，而之前只是大概知道它的作用，很多细节并不清楚，因此希望用这篇文章彻底解决揭开BN的面纱。
深度学习中的BatchNorm个人总结
一路狂奔的猪的博客
02-20 1380
Batchnorm想要解决的问题： 深度神经网络随着网络加深，网络收敛越来越慢，在训练过程中会出现梯度消失。（总结为网络收敛慢，梯度消失问题） 以上问题出现的原因： 随着网络加深，训练过程中每一层的输出分布逐渐发生偏移，一般整体会逐渐向非线性函数的上下限两端靠近。比如sigmoid激活函数，越往两端走，梯度越小，甚至消失。梯度太小使得训练慢，消失使得无法训练。 BatchNorm如何解决：...
联邦学习代码解读，超详细
weixin_42098322的博客
05-08 1万+
联邦学习伪代码 损失函数使用方法 1 optimizer = optim.Adam(model.parameters()) 2 fot epoch in range(num_epoches): 3 train_loss=0 4 for step,(seq, label) in enumerate(data_loader): 5 # 损失函数 6 loss = criterion(model(seq), label.to(device)
Batch Normalization 的实战使用
AI蜗牛车
09-02 1045
1. 前言Batch normalization 有多好用我就不多说了，一般来说，做卷积神经网络加上batch normalization，效果会得到一定的提升的。具体的batch nor...
批量归一化(Batch Normalization)
Yasin的博客
06-23 4万+
对输入数据进行标准化处理的原因？ 使输入数据各个特征的分布相近： 神经网络学习的本质就是学习数据的分布，如果训练数据与测试数据的分布不同，那么网络的泛化能力也大大降低； 在使用小批量数据对神经网络进行训练时，若每批训练数据的分布各不相同，网络在每次迭代都去学习适应不同的分布，这会大大降低网络的训练速度； 为什么要使用批量归一化？ 使用浅层模型时，随着模型训练的进行，当每层中参数更新时，靠近...
BatchNormalization在各神经网络中的应用
Deep Learning and NLP Farm
01-25 6950
因为之前用CNN中用BatchNorm中用错了位置，所以特意记录以免再次犯错 1. BatchNorm在CNN中的应用(第（１）种正确) 我个人偏向第一种可能，因为在fully connection中batch normalization应用在了激活函数之前 （１）先卷积，再batchnorm, 然后激活函数，最后pooling https://github.com/PadamS
解读Batch Normalization
shuzfan的专栏
02-23 3万+
目录 目录 1-Motivation 2-Normalization via Mini-Batch Statistics 测试 BN before or after Activation 3-Experiments本次所讲的内容为Batch Normalization，简称BN，来源于《Batch Normalization: Accelerating Deep Network Training b
大模型联邦学习
最新发布
03-12
### 联邦学习中的大型模型实现与应用场景 在联邦学习环境中部署大型模型面临诸多挑战，这些挑战不仅涉及技术层面还包括实际操作中的复杂性。尽管存在公共数据集，在某些情况下，出于隐私保护、法规遵从以及商业敏感性的考虑，并不是所有的参与方都能直接共享原始数据[^1]。 #### 技术架构支持大规模参数更新同步 为了使大型模型能够在联邦框架下有效运作，通常会采用特定的技术手段来优化参数更新过程。例如，通过引入压缩算法减少通信开销；利用差分隐私机制增强安全防护措施；或者借助于更高效的聚合策略提高收敛速度并降低延迟等问题的发生概率[^3]。 #### 应用场景实例分析 - **医疗健康领域**：不同医疗机构之间可以共同训练疾病预测或诊断辅助工具而不必暴露患者的具体病历资料给其他机构； - **金融服务行业**：银行间合作提升欺诈检测系统的准确性同时确保客户交易记录的安全保密； - **物联网设备管理平台**：智能家居产品制造商能够基于用户行为习惯改进服务质量而无需收集完整的个人使用日志。 ```python import tensorflow_federated as tff from tensorflow.keras import layers, models def create_large_model(): """创建一个较大的神经网络结构""" model = models.Sequential([ layers.Dense(512, activation='relu', input_shape=(784,)), layers.Dropout(0.2), layers.Dense(256, activation='relu'), layers.BatchNormalization(), layers.Dense(128, activation='relu'), layers.Dense(num_classes, activation='softmax') ]) return model federated_learning_process = tff.learning.build_federated_averaging_process( model_fn=create_large_model, client_optimizer_fn=lambda: tf.optimizers.SGD(learning_rate=0.02)) ```
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

联邦学习小白

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值