- 博客(86)
- 收藏
- 关注
RSS订阅原创 pFedES: Generalized Proxy Feature Extractor Sharing for Model Heterogeneous Personalized Federated L
联邦学习（Federated Learning, FL）作为一种保护隐私的协作式机器学习范式，已引起工业界和学术界的广泛关注。为了让每个数据所有者（联邦学习客户端）能够根据自身的本地数据分布、系统资源及模型结构需求，训练出异构且个性化的本地模型，模型异构个性化联邦学习（Model-Heterogeneous Personalized Federated Learning, MHPFL）领域应运而生。
2026-01-18 17:21:23
415
原创 FedRAL：Federated Representation Angle Learning
模型异构联邦学习（Model-heterogeneous federated learning, MHFL）是一种具有挑战性的联邦学习范式，旨在让联邦学习客户端在联邦学习服务器的协调下，训练结构异构的模型。现有 MHFL 方法由于仅共享部分同构模型参数或通过计算距离损失来传递知识，在向客户端传递全局知识时存在显著局限，导致模型泛化性能不佳。为填补这一空白，我们提出了一种基于表示角度学习（Representation Angle Learning）的新型模型异构联邦学习方法（FedRAL）。
2026-01-17 19:47:52
469
原创 FedMRL:Federated Model Heterogeneous Matryoshka Representation Learning
模型异构联邦学习（MHeteroFL）支持联邦学习客户端以分布式方式协同训练具有异构结构的模型。然而，现有 MHeteroFL 方法依赖训练损失在客户端模型与服务器模型之间传递知识，导致知识交换受限。为解决这一问题，我们针对监督学习任务提出联邦模型异构套娃表示学习（FedMRL）方法。该方法为拥有异构本地模型的客户端添加了一个共享的辅助同构小型模型。（1）两个模型的特征提取器提取的通用表示与个性化表示，通过轻量化个性化表示投影器进行融合，该步骤实现了适配本地数据分布的表示融合。
2026-01-17 14:03:21
465
原创 Federated Feature Augmentation and Alignment
TPAMI2025，说是解决特征偏移问题，但从实验看其他数据异构也一并改善了。文章和题目一样干了特征增强和特征对齐两件事。特征增强部分套了两次高斯拟合，搞得很复杂，没法一句话说清楚。特征对齐部分是截断成直方图，然后双向KL散度。论文：目前好像只有ieee能搜到代码：只找到ICLR2023的会议版本。
2025-04-21 21:18:01
757
原创 No Fear of Heterogeneity: Classifier Calibration for Federated Learning with Non-IID Data
首先这篇文章问题分析的很好，从客户端每层输出的差异，发现数据异构对分类层影响是最大的，然后引出用原型重新调整分类层的方法。这篇文章比较老了，NIPS2021的，网上有人分享过，直接贴链接过去看吧。对于单个原型无法表示类别丰富特征的问题，采用高斯分布模拟类别特征分布。个人感觉创新点有两个，
2025-03-17 20:16:42
180
原创 Cross-Silo Prototypical Calibration for Federated Learning with Non-IID Data
ACMMM 2023, 针对数据异构问题，提出一种跨孤岛原型校准方法 FedCSPC，通过聚类对数据模式进行建模，通过正样本混合和硬负样本挖掘增加样本多样性，对比学习实现跨源特征对齐。建议先读《No Fear of Heterogeneity: Classifier Calibration for Federated Learning with Non-IID Data》，是在这基础上改的。
2025-03-17 20:10:30
1152
原创 Cross-Silo Feature Space Alignment for Federated Learning on Clients with Imbalanced Data
AAAI2025，特征异构情况下每个客户端的类别原型都不同，学习一个共享特征空间来减轻不平衡数据的影响。对于样本少的类别，假定为高斯分布模仿类别多的样本扩充。目前为空。
2025-03-13 16:01:26
857
原创 Eliminating Domain Bias for Federated Learning in Representation Space
NIPS2023，这篇文章首先展示了在统计异质性场景下，客户端上的偏差数据域会导致表示偏差现象，并在本地训练期间通用表示进一步退化。提出了一个域偏差消除器（Domain Bias Eliminator，简称DBE），并证明了理论上界。PS：这篇文章方法可以说很简陋，和代码对不上，虽然我没跑过代码但感觉问题挺大的，不相信能有啥好结果。但是问题分析写的挺好的，可以学习一下。code:其他人分析的直接跳转。
2025-03-04 14:47:01
835
原创 Rethinking Federated Learning with Domain Shift: A Prototype View
SkS^kSk表示用类别为kkk的样本集，cmkc^k_mcmk表示第mmm个参与者kkk类样本的原型。原型是各自语义信息的典型，携带特定领域的风格信息，因为原型在不同的领域并不一致（直接理解成高维映射就行）。因此，它激励我们利用来自不同领域的原型来学习可泛化的模型，而不会泄露隐私信息。
2024-07-04 17:07:50
1484
原创 FCCL+：Generalizable Heterogeneous Federated Cross-Correlation and Instance Similarity Learning
TPAMI2023，提出了一种新颖的 FCCL+，即带有非目标蒸馏的联邦相关性和相似性学习，促进了域内可辨别性和域间泛化。对于异构性问题，我们利用不相关的未标记公共数据进行异构参与者之间的通信。我们构建了互相关矩阵并在 logits 和特征级别上对齐实例相似性分布，有效地克服了沟通障碍并提高了泛化能力。对于局部更新阶段的灾难性遗忘，FCCL+ 引入了联邦非目标蒸馏，它在避免优化冲突问题的同时保留了域间知识，通过描述后验类关系充分蒸馏了特权域间信息。
2024-07-01 16:47:00
1281
原创 PGFed: Personalize Each Client’s Global Objective for Federated Learning
ICCV-2023， 文章提出显式隐式的概念，作者通过实验发现显式比隐式的效果好，显式方式通过直接与多个客户的经验风险互动来更新模型，并用泰勒展开式降为ON通讯成本。
2024-06-12 21:07:02
870
原创 FCCL：Learn from others and Be yourself in Heterogeneous Federated Learning
CVPR2022，通过在公开数据集上的logits相似性（同类相近、异类原理）来迁移客户端知识，通过上轮模型和初始模型延缓遗忘。
2024-06-03 21:47:50
1515
原创 FEDCVAE-KD：DATA-FREE ONE-SHOT FEDERATED LEARNING UNDER VERY HIGH STATISTICAL HETEROGENEITY
ICLR 2023，这篇是用变分自编码器做数据生成，传到server端指导解码器训练，然后生成伪数据训练分类器。
2024-05-29 23:31:58
905
原创 FedSyn: Synthetic Data Generation using Federated Learning
arxiv2022，没找到是哪个刊物的，是没投中吗？这篇是用GAN做数据生成，每个client都训练一个生成器，加噪声传到server端聚合，实验是衡量生成图片的质量。code：没找到。
2024-05-23 22:27:17
547
原创 DENSE: Data-Free One-Shot Federated Learning
NeurIPS2022，论文原名《A Practical Data-Free Approach to One-shot Federated Learning with Heterogeneity》。文中提出了一种新颖的两阶段无数据一次性联合学习（DENSE）框架，该框架通过数据生成阶段和模型蒸馏阶段来训练全局模型。在第一阶段，利用集成模型（即客户端上传的本地模型的集成）来训练生成器，生成器可以生成用于第二阶段训练的合成数据。在第二阶段，将集成模型的知识提炼为全局模型。
2024-05-20 17:38:32
990
原创 DOSFL：Distilled One-Shot Federated Learning
CoRR2020，这篇是结合了OneShot Federated Learning（CoRR2019）和Data Distill（CoRR2018），client端训练出一组合成数据，使得模型每次在真实数据的更新与在合成数据上的更新尽量一致，这组合成数据传输到server端训练全局模型。我主要是想看下如何在FL上做数据蒸馏。code: 没找到。
2024-05-18 23:29:42
897
原创 FedDF：Ensemble Distillation for Robust Model Fusion in Federated Learning
code: 没找到。
2024-05-17 21:30:27
1677
1
原创 Wireless Federated Distillation for Distributed Edge Learning with Heterogeneous Data
PIMRC2019，code: 没找到。
2024-05-14 21:25:33
394
原创 FedDML：Federated Mutual Learning
这篇把DML运用到FL上论文地址：arvixcode: 作者git我们针对三种异质性（DOM）提出了一种新颖的联邦学习范式，称为联邦相互学习（FML）。 首先，FML 处理数据和目标通过使每个客户能够训练个性化模型来实现异质性。 从OH的意义上来说，DH对服务器有害，但对客户端有利，这意味着数据的非独立同分布性不再是一个bug，而是一个可以更好地为客户端服务的特性； 其次，本地个性化模型可以从具有相似但不同任务的 FML 协作训练中受益。 第三，FML允许客户针对各种场景和任务设计自己的定制模型。PS：D
2024-05-14 17:17:10
674
原创 FedMD: Heterogenous Federated Learning via Model Distillation
NeurIPS2019，通过一个全局数据集实现知识蒸馏。code: 没找到。
2024-05-14 10:43:51
1042
1
原创 FD-FAug：Communication-Efficient On-Device Machine Learning: Federated Distillation and Augmentation
NeurIPS2018，应该是第一篇结合蒸馏和联邦的文章了，所以从这开始看顶会顶刊的文章，希望尽快有自己的想法。文章将通讯传递的模型梯度换成了类别平均logits提升了通讯效率，使用GAN生成图片处理数据异构问题。code: 没找到。
2024-05-13 21:44:45
1108
原创 conda create win10 报错
试了一堆，发现有一种方法可以，修改文件 C:\Users\19256.condarc ,注意19256是我的window用户名。如果没有的话自己新建。今天要新建个环境，不知道哪里抽风了，直接CondaHTTPError。然后重开一个cmd就可以了。
2023-01-05 14:45:58
209
原创 c++ onnx之yolov5检测
yolov5和resnet比稍微麻烦了一点，主要就是多了nms部分，还有坐标点映射回原图的yolov5_scale_coords函数。流程大致分为五部分：1）图像等比例放缩，2）图像预处理，3）onnx推理，4）nms后处理，5）坐标点映射回原图。
2022-11-25 16:55:18
1728
2
原创 c++ onnx之resnet分类
首先opencv和onnxruntime的配置就不说了，resnet分类网络就只有三个部分，一个是图片等比例放缩letterbox；而是图片归一化等处理成输入PreProcess；三是onnx推理。
2022-11-25 16:14:00
1637
原创 c++ 使用onnx推理
假设你已经安装好onnx，并且成功配置。这章说的是加载onnx并推理的过程，输入的input已经是处理过后的。下面举几个例子。
2022-11-25 15:06:35
1921
原创 Could not locate zlibwapi.dll. Please make sure it is in your library path
跑PaddleDetection时候报错，Could not locate zlibwapi.dll. Please make sure it is in your library path。
2022-10-25 14:18:34
4717
2
原创 git 分支合并
原来的git操作都是直接在pycharm上整的，今天合并分支的时候发现master没法一步跳到分支上，百度了之后才发现pycharm默认的是fast-forward 方式，如图所示。所以我们要想办法用 git merge --no-ff 分支。这一块想知道区别的跳到别人的简书。...
2022-08-18 10:56:03
350
原创 docker内部时间与本机不一致
今天发现log的时间不对，是正常时间-8小时。检查了老半天，才发现代码的确没问题，是docker date的时间不对。。只要把docker的时间调整正确就可以了。方法一、docker启动时映射本地时间就是启动的时候把时间文件映射docker run xxxxxx -v /etc/localtime:/etc/localtime xxxxxxxxx方法二、docker时间改为和本地一致额，就是把时间文件复制进去docker cp /etc/localtime 你的容器名:/etc/localti
2022-04-22 16:54:06
1555
原创 ubuntu 增加交换分区swap大小
系统重装之后默认的swap只有2G，所以得加一下，不然白瞎了32G的内存。free -m #查看缓存情况 或者你可以打开任务管理器，里头可视化界面也有额，现在没有2G的截图了，将就着看吧。sudo -i #进rootsudo swapoff /swapfile #关闭swapsudo rm -f /swapfile #删除默认的2G的swap文件sudo dd if=/dev/zero of=/swapfile count=32M bs=1k #创建32G缓存
2022-04-22 16:07:01
861
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人