No Fear of Heterogeneity: Classifier Calibration for Federated Learning with Non-IID Data, NIPS 2021

已于 2023-03-02 11:12:12 修改
阅读量129 收藏
点赞数
分类专栏： 论文 文章标签： 深度学习
于 2023-03-02 11:02:07 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43845774/article/details/129296783
版权
文章讨论了计算机视觉模型中，分类器层对性能的影响。作者指出，尽管有人在Github上尝试复现，但在高度非独立同分布(NON-IID)的数据环境下，即使不改变分类器，模型的效果也可能恶化。这表达了作者对分类器不是唯一影响因素的怀疑态度。
摘要由CSDN通过智能技术生成

链接----我爱计算机视觉！

杂谈

 好文，没代码。Github上有人尝试但复现不了结果。
 链接中提到 “在调整分类器后的显著性能改进有力地验证了上述的假设，即导致模型性能损害主要在于分类器层” ，对于这个观点，我持有怀疑态度。如果我们固定分类器层，高度NON-IID下，效果一样崩。

江水之南
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
CCVR基于分类器校准缓解异构联邦学习
我爱计算机视觉
08-04 689
关注公众号，发现CV技术之美本篇分享 NeurIPS 2021 论文『No Fear of Heterogeneity: Classifier Calibration for Federated Learning with Non-IID Data』，用非IID数据进行联合学习的分类器校准。论文链接：https://arxiv.org/abs/2106.05001 ...
【SDA-FC】Federated clustering with GAN-based data synthesis
wohoo~
03-16 679
SDA-FC K-means & 模糊C-means
【论文阅读】Federated Learning on Non-IID Data Silos: An Experimental Study
YasmineC的博客
03-16 1466
阅读目标： 了解解决异构性问题的角度 了解解决异构性问题的方法 阅读结束回答： 标签、特征、量 FedAvg、FedProx等，并不是我想要的解决复杂异构性的方法 动机：隐私保护和数据条例的出现，导致多个“数据孤岛”分散数据库的形成；而这些分散数据库的关键挑战就是数据分布的异构性；联邦学习中出现很多应对这种non-iid的方法，但很少有实证研究来系统的梳理这些方法的优点和缺点 工作：1）提出了覆盖大多数non-iid情形的全面数据分区策略 2）设计了扩展实验来评估最先进的FL算法 3）结论是，没有
No Fear of Heterogeneity: Classifier Calibration for Federated Learning with Non-IID Data
tiger00O的博客
03-10 569
在这项工作中，我们提供了一个新的视角来理解为什么在联邦学习中使用非iid数据训练时，基于深度学习的分类模型的性能会下降。我们首先解剖神经网络，并通过最近的表示分析技术研究不同客户端上模型不同层的相似性。我们观察到，不同局部模型的分类器的相似性低于任何其他层，并且分类器之间存在显著的偏差。 然后，我们提出了一种名为虚拟表示分类器校准(CCVR)的新方法，该方法从近似高斯混合模型(GMM)中采样虚拟特征用于分类器校准，以避免将原始特征上传到服务器。在三个图像数据集上的实验结果表明，CCVR比几种流行的联邦学习
【论文笔记】No Fear of Heterogeneity: Classifier Calibration for Federated Learning with Non-IID Data
weixin_43747691的博客
01-07 930
【NeurIPS 2021】No Fear of Heterogeneity: Classifier Calibration for Federated Learning with Non-IID Data 用非IID数据进行联邦学习的分类器校准。
论文笔记：No Fear of Heterogeneity-Classifier Calibration for Federated Learning with Non-IID Data
爱学习爱运动的专栏
05-24 141
通过大量篇幅来分析问题，通过实验去发现问题，然后分析问题，最后提出自己的解决方案。解决方案写得比较简短，说明了方案的名称，达到的目的。
Federated learning non-iid
weixin_43845649的博客
11-01 496
notes
文献阅读：Client Selection for Federated Learning with Heterogeneous Resources in Mobile Edge
whitevegetable的博客
11-07 2614
背景 在用户异构（用户的通信、计算能力不同）的蜂窝网络中，传统的联邦学习会很低效。这是因为传统联邦学习中每轮参与模型训练的用户是随机选取的，这样如果一轮中选取的某些用户的通信、计算能力较差，那么其模型训练、上传所需的时间就更长，进而拖延本轮的模型聚合步骤，最终导致整个模型训练效率的低下。 研究内容 论文提出了FedCS协议，将传统联邦学习的随机选取参与用户改为由用户的资源情况选择尽可能多的“优质”用户来进行模型更新。图示如下： FedCS协议的具体步骤： 1....
论文分享：「FED BN」使用LOCAL BATCH NORMALIZATION方法解决Non-iid问题
m0_69580723的博客
08-09 1646
提出了FedBN，给出了在联邦场景下使用BN来缓解feature shift的方法，并证明了其收敛性和有效性。FedBN的方法和通信、优化器方法是正交的，在实际使用中可以组合使用。FedBN在算法是对FedAvg只做了很小的改动，在实际中还可以与其他联邦strategy进行结合使用（Pysyft、TFF等已集成）。FedBN已经在医学健康，自动驾驶等领域被证明是很有效的策略...
Tackling Data Heterogeneity in Federated Learning with Class Prototypes, AAAI 2023
qq_43845774的博客
02-14 385
Tackling Data Heterogeneity in Federated Learning with Class Prototypes
FEDCVAE-KD：DATA-FREE ONE-SHOT FEDERATED LEARNING UNDER VERY HIGH STATISTICAL HETEROGENEITY
qq_33619359的博客
05-29 766
ICLR 2023，这篇是用变分自编码器做数据生成，传到server端指导解码器训练，然后生成伪数据训练分类器。
DENSE: Data-Free One-Shot Federated Learning
qq_33619359的博客
05-20 636
NeurIPS2022，论文原名《A Practical Data-Free Approach to One-shot Federated Learning with Heterogeneity》。文中提出了一种新颖的两阶段无数据一次性联合学习（DENSE）框架，该框架通过数据生成阶段和模型蒸馏阶段来训练全局模型。在第一阶段，利用集成模型（即客户端上传的本地模型的集成）来训练生成器，生成器可以生成用于第二阶段训练的合成数据。在第二阶段，将集成模型的知识提炼为全局模型。
20-Representation Learning with Multi-level Attention for ActivityTrajectory Similarity Computation
yuemo3353009的博客
03-27 595
[1] Liu A, Zhang Y, Zhang X, et al. Representation Learning with Multi-level Attention for Activity Trajectory Similarity Computation[J]. IEEE Transactions on Knowledge and Data Engineering, 2020. 文章目录`Abstract``Index Terms``1 Introduction``2 Preliminari.
基于深度学习的零售柜商品识别系统实战思路
最新发布
a871923942的博客
09-11 728
YOLOv5是YOLO算法的一个实现版本，它在速度和准确性之间取得了很好的平衡。现在我们的数据已经准备好了，是时候训练我们的模型了。为了训练模型，我们需要为每张图像创建一个对应的标签文件，指明图像中物体的位置和类别。这段代码添加了一个新的标签来显示视频流，一个按钮来开始/停止实时识别，以及相应的方法来捕获和处理视频帧。这段代码创建了一个基本的窗口，包含一个图像显示区域、一个上传按钮、一个识别按钮和一个结果显示标签。为了提高系统的响应性，特别是在处理大图像或视频流时，我们可以使用多线程来进行识别。
深度学习时遇到tensor([0.], device=‘cuda:0‘)等输出
weixin_53036073的博客
09-11 260
很有可能是更改了ultralytics文件夹中的某一个文件导致的，我以为是因为我更新了几个模块导致的出错，尝试了很多方法比如关掉详细输出修改模块以及将环境恢复至原始状态，但是都没有解决。其实以前运行也遇到过类似问题，换了我师姐给的ultralytics文件夹后就解决了，也不知道啥原理。所以这次还是把现在的ultralytics文件夹给删除，换成最初的ultralytics文件夹，再运行就正常了！所以这次还是把现在的ultralytics文件夹给删除，换成最初的ultralytics文件夹，再运行就正常了！
Introduction to Deep Learning with PyTorch
不错就是对的博客
09-05 1049
"Introduction to Deep Learning with PyTorch" course study notes
【深度学习讲解笔记】前言
i156456365的博客
09-08 203
小编为AI专业的本科学生，最近入手了一本《深度学习讲解》的书，由于封面画了苹果🍎，所以也叫苹果书，这本书目前在全网的热度很高。本系列博客的目的就是以笔记的形式记录一些重点以及我个人的理解，由于小编也是小白，所以理解不准确还望指正。
卷积神经网络(一)
m0_73426548的博客
09-06 1308
假设外面有10个Filter，每个Filter3*3*3，并且只有一层卷积假设有一张图片1000*1000*3，需要多大的零填充((N+2P-F+1) /S+1)=N，解得P=1卷积层相当于特征提取的角色，但是没有减少图片的特征数量，在最后的全连接依旧面对大量的计算，所以需要池化层进行特征的减少。
heterogeneity for the win: one-shot federated clustering
09-19
一次性联邦聚类是一种利用异质性的方法，以获得胜利的策略。在传统的聚类任务中，数据通常集中在一个中央位置进行处理，这存在着数据隐私的风险。而一次性联邦聚类的方法通过将数据分布在不同的本地设备上进行处理，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值