【论文笔记】Federated Unlearning with Knowledge Distillation

最新推荐文章于 2024-06-02 05:19:05 发布
最新推荐文章于 2024-06-02 05:19:05 发布
阅读量1.3k 收藏 9
点赞数 2
文章标签： 计算机视觉 人工智能 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lasetd/article/details/125633682
版权

Federated Unlearning with Knowledge Distillation

本篇论文的贡献（目的）

本文将联邦遗忘学习问题定义为在联合训练过程之后从全局模型中彻底有效地移除指定客户的贡献。主要想法是从攻击者那里擦除历史参数更新并通过知识蒸馏方法恢复损坏。通过检验后门攻击成功率的方式评估遗忘性能。

创新性

遗忘过程不需要来自客户端的任何训练数据信息，并且大部分计算均由服务器完成，减少了与客户端之间的网络传输。

联邦遗忘学习算法步骤

1.问题描述：
本文将遗忘后的全局模型 M F ′ M^{'}_{F} MF′​表示为遗忘前的全局模型 M F M_{F} M

最低0.47元/天 解锁文章
疯狂的小猴子h
关注
  • 2
    点赞
  • 踩
  • 9
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
ECCV 2022 | FedX: 在无监督联邦学习中进行知识蒸馏
Paper weekly
09-28 3621
©PaperWeekly 原创 · 作者 | 张成蹊单位 | Freewheel机器学习工程师研究方向 | 自然语言处理论文的立意是在联邦学习过程中，结合对比学习，用局部与全局的两种蒸馏方式来无监督地学习样本的向量表示。FedX 不仅是一种创新的无监督学习算法，更是一种可以热插拔用于传统对比学习，使之效果提升的无监督损失函数。关键词：联邦学习（Federated Learning），对比学习（Co...
Federated Unlearning with Knowledge Distillation 概述
qq_45027419的博客
02-16 552
提出了一种新的联邦学习方法，通过从模型中，并利用知识蒸馏方法来，而不需要使用来自客户端的任何数据。该方法对神经网络的类型没有任何限制，也不依赖于用户的参与。
论文阅读---联邦忘却学习研究综述
zzzzzxzzzz的博客
03-07 1197
面向全局模型的忘却算法直接对全局模型参数进行修改并利用用户数据调整全局模型，而面向局部模型的算法则利用用户训练的局部模型参数对全局模型参数进行间接修改。un}共同训练机器学习模型，得到模型最优参数，其中每个用户持有训练数据。面向局部模型的联邦忘却学习算法通过对用户上传的局部模型参数或用户本地训练的梯度进行修改，利用模型聚合修改全局模型参数，从而实现联邦忘却学习。训练更新校正算法在现有模型的基础上增加额外的联邦学习训练，对训练过程中产生的模型参数进行修正，并通过聚合修正后的模型修改全局模型的参数。
READ-2320 Federated Unlearning with Knowledge Distillation
m0_51638853的博客
03-13 298
相比FedEraser，本文先在全局模型上减去中毒更新，再利用知识蒸馏恢复模型性能，减少了额外的通信量，但是对服务器的存储量有较高的要求。未来可研究的方向包括：1.在训练过程中的进行蒸馏2.没有任何数据集的蒸馏。
【论文阅读笔记】Federated Unlearning with Knowledge Distillation
leticia_m的博客
05-19 626
个人阅读笔记，如有错误欢迎指出
联邦学习论文阅读：Federated Distillation and Augmentation under Non-IID Private Data
m0_46256271的博客
09-28 1058
Communication-Efficient On-Device Machine Learning: Federated Distillation and Augmentation under Non-IID Private Data 论文链接 (源码没有公开) 1 论文概述 1.1 Abstract 终端设备机器学习可以使用大量终端上的数据进行机器学习模型的训练。在这个过程中存在两个问题：1. 设备之间的通信压力问题(模型越大，需要传送的数据量就越大，会有效率问题，安全问题等)；2. 不同设备产生的数据
【转】Knowledge-Distillation 知识蒸馏论文集合
u014546828的博客
06-28 9273
Awesome Knowledge-Distillation 博客转自CTOLib码库：https://www.ctolib.com/FLHonker-Awesome-Knowledge-Distillation.html Awesome Knowledge-Distillation Different forms of knowledge Knowledge from logits Knowledge from intermediate layers Graph-based.
Data-Free Knowledge Distillation for Heterogeneous Federated Learning
qq_45027419的博客
03-02 1035
在联邦学习中使用知识蒸馏，这种方法依赖于代理数据集，因此除非满足这样的先决条件，否则是不切实际的。此外，仅从用户模型的预测规则导出的生成模型FEDGEN收益：1.它从用户那里提取知识，而这些知识在模型平均后会得到缓解，而不依赖于任何外部数据。2.我们的方法使用所提取的知识直接调节局部模型更新。3.我们表明，这样的知识强加了一个归纳偏向局部模型，导致在非iid数据分布下更好的泛化性能。
论文笔记 ASYNCHRONOUS FEDERATED OPTIMIZATION
01-20
论文笔记 ASYNCHRONOUS FEDERATED OPTIMIZATION 论文中提出了一种异步联邦优化算法。 联邦优化的同步特性是不可伸缩的、低效的和不灵活的。同时签入的设备过多会导致服务器端的网络拥塞。在每个全局epoch中，服务器...
Client Selection for Federated Learning with.pdf
05-02
联邦学习客户端选择文献
本人的关于联邦学习的论文
04-25
本人的联邦学习论文， Auditable Federated Learning With Byzantine Robustness 所上传的PDF文件和发表在IEEE网站（https://ieeexplore.ieee.org/document/10107728）上面的版本基本无内容上的差别。目的是为了让...
李则熹-Wireless Federated Distillation for Distributed Edge1
08-04
李则熹-Wireless Federated Distillation for Distributed Edge1
Optimizing Federated Learning on Non-IID Data with Reinforcement
09-07
，机器学习应用程序的广泛部署激发了人们对利用存储在移动设备上的大量数据的兴趣。为了保护数据隐私，联邦学习被提出通过在参与设备上执行本地分布式训练并将本地模型聚合为全局模型来学习共享模型。...
[数据集][目标检测]数据集VOC格式岸边垂钓钓鱼fishing目标检测数据集-4330张
FL1623863129的博客
06-01 827
数据集格式：Pascal VOC格式(不包含分割路径的txt文件和yolo格式的txt文件，仅仅包含jpg图片和对应的xml)[数据集][目标检测]岸边垂钓数据集VOC格式4330张介绍_哔哩哔哩_bilibili。特别声明：本数据集不对训练的模型或者权重文件精度作任何保证，数据集只提供准确且合理标注。重要说明：检测岸边钓鱼人员的数据集，当有人拿个鱼竿或者明显在钓鱼则会被标注。标注数量(xml文件个数)：4330。标注类别名称:["fishing"]标注规则：对类别进行画矩形框。
[C#]使用C#部署yolov8的目标检测tensorrt模型
FL1623863129的博客
05-29 252
注意源码提供上面对应环境的dll，只需要安装上面一样cuda+cudnn和tensorrt版本即可正常运行。如果您不安装一样版本不能正常运行。此时需要重新编译TensorRtExtern.dll，此外由于tensorrt依赖硬件不一样电脑可能无法共用tensorrt模型，所以必须要重新转换onnx模型到engine才可以运行。tensorrt依赖不同硬件需要自己从onnx转换tensorrt，转换就是调用api实现，比如。【演示源码下载地址】
在热力图基础上寻找所有峰值位置
如果想成为中心，那么就到中心去吧。
05-29 152
热力图通常是二维的，其中每个像素的颜色表示该位置的数值大小。较亮的颜色通常表示较高的数值，而较暗的颜色表示较低的数值。寻找局部极值点：使用图像处理技术，如在前面提到的方法中，例如在二值图像中找到局部极值点的方法，来找到热力图中的局部峰值位置。这可能涉及到使用滤波器、阈值化、形态学处理等技术。分析和后处理：对于找到的峰值位置，可以进行进一步的分析或后处理，例如计算每个峰值的具体坐标、提取峰值的强度等。标记峰值位置：一旦找到了峰值位置，可以根据需要在热力图上将这些位置标记出来，以便进行可视化或进一步分析。
【python】修改目标检测的txt标签(yolo)的类别ID映射
sazass的博客
05-29 231
针对目录下的所有yolo格式的txt标签文件，将class类别的id修改为指定id。
[数据集][目标检测]焊接处缺陷检测数据集VOC+YOLO格式3400张8类别
最新发布
FL1623863129的博客
06-02 304
标注类别名称:["chogndie","duanhu","jiazha","kongxinzhu","leiwen","qikong","weironghe","yaobian"]数据集格式：Pascal VOC格式+YOLO格式(不包含分割路径的txt文件，仅仅包含jpg图片以及对应的VOC格式xml文件和yolo格式txt文件)重要说明：names: ["气孔", "咬边", "断弧", "裂纹", "空心珠", "重叠", "夹渣", "未熔合"]标注数量(txt文件个数)：3400。
federated learning with non-iid data
06-28
### 回答1： "Federated learning with non-iid data" 的含义是：在非独立同分布数据（non-iid data）的情况下进行联邦学习。联邦学习是一种分布式学习的方法，其特点是模型的训练和更新是在本地设备上进行，而不是在中心服务器上进行。而非独立同分布数据则意味着不同设备之间的数据具有不同的分布和特征，这会对联邦学习的效果造成挑战。因此，在进行联邦学习时，需要考虑如何处理这种情况，以提高模型的准确性和鲁棒性。 ### 回答2： 联邦学习是近年来备受关注的一种机器学习方法，其核心精神是通过多个客户端设备在本地进行数据处理和训练模型，不必将原始数据汇集到一起，避免了隐私泄露和数据传输带来的风险。但实际上，大多数现实场景中的数据并不是独立同分布的(non-iid)，多个客户端设备所在的数据分布也极有可能不同，如何在保持原有联邦学习思路的基础上应对非iid数据，也成为了当前研究的热门问题。 目前，学界和产业界对非iid联邦学习的解决方案尝试有很多，其中一些典型的方法包括： 一、联邦聚类(Federated Clustering)。该方法利用监督和非监督的数据聚类模型，对处理不同数据分布的客户端设备进行分类，形成若干个数据分布相似的组，然后在每个组中进行联合学习，对每个组得到的模型结果进行合并。 二、联邦迁移学习(Federated Transfer Learning)。该方法通过在源域数据上进行模型训练和参数更新，再通过一定的方法将已训练的模型迁移到目标域中进行更新和优化，从而使得目标域数据更好地适应模型。 三、混合学习(Federated Hybrid Learning)。该方法结合了联邦学习和分层模型的想法，将多个客户端设备的数据层级化，在相同维度的数据上进行联邦学习，但不同层级内的数据各自训练特定的模型。 以上这些方法都对非iid联邦学习的问题提供了一定的思路和解决方案，在应用场景中也得到了初步的应用。但是，不同于iid数据的不同分布、语义、类别之间的差异使得非iid联邦学习更具挑战性，其数据分布、协作策略、学习算法等方面的问题都需要进一步研究和提高。未来，我们需要不断探索更好、更高效、更准确的非iid联邦学习的方法和方案，应用到各个行业领域提高数据的利用效率和隐私保护水平。 ### 回答3： 联邦学习是一种先进的机器学习技术，它允许多个参与方共同训练一个模型，而不需要将原始数据集集中在单个位置。这种分布式学习的方式可以最大程度地保护用户的数据隐私和安全。 然而，在实际应用中，有时候我们会遇到一些具有不同的分布性质的非IID数据集。因为数据的不均匀和异构性质，使得对于分布在不同的机器上的数据进行联合训练变得更加困难。这种情况也称为不相同的数据偏移或数据漂移。不同分布性质的数据会导致训练模型的性能下降，因为模型无法对不同的数据进行适应。这也使得联合学习更具挑战性。 为了解决这个问题，可以对数据进行采样和重新加权，以便在融合时使每个本地模型对于不同的数据立场相对均衡。一种基于采样的方案是Federated Averaging with Local Adapation（FALA）,它是一种高效的算法，它通过对于权值进行本地的调整，减少了由于数据偏移带来的下降的性能。此外，类别抽样和异质性采样也可以用来处理iid 的数据集之间的不相同。在数据偏移情况下，这需要更多的小样本和多轮次迭代。 另一种方法是加入对模型的个性化贡献，即在联合优化时分配不同的权重给本地模型或者对于不同的参与方使用不同的模型。例如，对于基于 神经网络的模型，可以采用逻辑斯蒂回归模型或者线性模型，以提高对于多样性的应对能力。 总而言之，对于不同的非IID数据，需要在联合训练时采用合适的方案，以克服分布不均带来的挑战并获得更好的结果。需要根据不同的实际情况选择最佳的方法，以满足不同的需求。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值