READ-2320 Federated Unlearning with Knowledge Distillation

最新推荐文章于 2024-10-12 23:00:53 发布
最新推荐文章于 2024-10-12 23:00:53 发布
阅读量355 收藏 1
点赞数
分类专栏： FL Security 文章标签： 安全
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_51638853/article/details/129508277
版权
该论文提出了一种基于知识蒸馏的联邦消除方法，旨在解决联邦学习中的数据消除问题，特别是针对Backdoor攻击。通过去除恶意客户端的更新并使用教师模型进行知识蒸馏，可以在不增加客户端负担的同时恢复模型性能。这种方法减少了对数据集的依赖，提高了模型的泛化性和鲁棒性，但可能需要服务器具有较高的存储需求。
摘要由CSDN通过智能技术生成

READ-2320 Federated Unlearning with Knowledge Distillation

论文名称Federated Unlearning with Knowledge Distillation
作者Chen Wu, Sencun Zhu, Prasenjit Mitra
来源arXiv 2022
领域Machine Learning - Federal learning - Security - Defence – Backdoor attack
问题已有的联邦消除方法增加了时间和能量的损耗
方法通过减去恶意客户端的累计历史更新，并使用知识蒸馏的方法恢复模型的性能
创新基于知识蒸馏的联邦遗忘方法

阅读记录

一、联邦遗忘
  1. 联邦消除的挑战
    （1）增量学习过程：由于FL是一个迭代的过程，一旦要去除某一轮客户端的数据，之后的全局模型都会变得非法
    （2）随机训练过程：由于每轮参与通信的客户端是随机的，并且每个客户端在训练过程中也存在许多随机性，任意一个微小的扰动都会导致蝴蝶效应，使得FL训练过程难以控制，或导致全局模型每次都收敛到不同的局部极小值
    （3）限制对数据集的访问：服务器无法访问客户端的数据，并且在训练完毕后客户端为节省存储空间，数据可能会被删除
  2. 知识蒸馏的使用：将旧的全局模型作为教师训练遗忘模型
    （1）在服务器上使用知识蒸馏且不需要标记数据集，因此没有客户端的时间和能量损耗，也没有网络故障
    （2）由于没有触发器，后门特征无法从教师模型转移到消除模型上
    （3）知识蒸馏防止模型过拟合，有更好的泛化性
  3. 去除历史更新
    （1）最终模型与初始模型的关系：初始模型+每一轮模型更新的累加=最终模型
    在这里插入图片描述
    （2）假设共有N个客户端，想要移除第N个客户端的贡献，则每轮更新可以转变为：
    在这里插入图片描述
    （3）去除方法
  • 方法一：假设第t轮只有N-1个客户端参与
    ①聚合全局更新
    在这里插入图片描述
    由于FL的增量学习的性质，该方法不能直接计算累计更新以重构消除模型
    ②对每轮全局模型进行修正
    在这里插入图片描述
    ε：对全局模型的修正，随着通信轮数增加而增加，消除客户端数据的迭代影响。但是由于是定值，即使客户端在某轮通信中贡献较小，也会对全局模型造成较大的改变，并且该改变将在后续迭代中放大
  • 方法二：使用懒学习消除客户端影响，假设目标客户端仍然参与训练，但是模型更新为0
    ①聚合全局更新

在这里插入图片描述
②计算最终的消除模型
消除模型=原始最终模型-目标客户端的平均更新值+矫正过程偏差
在这里插入图片描述

  1. 使用知识蒸馏进行补救
    （1）问题：如何在不重新训练模型的情况下，计算补救偏差ε
    （2）思想：知识蒸馏在训练过程中获得的知识不仅被编码在权重中，还可以从模型的类概率中反映出来，可以提高模型的泛化性和鲁棒性
    （3）方法
    ①将原始全局模型作为教师模型，将其输出作为label
    ②服务器使用无标签的数据训练消除模型，并纠正补救偏差ε。若有带标签的数据，可以结合软标签和硬标签进行训练，且为l获得更多知识，需要给硬标签更少的权重
    在这里插入图片描述
    T：temperature，T越大，概率分布越平均
    z：输出层的Logit
    含义：原始全局模型计算软分类

  2. 伪代码
    在这里插入图片描述

总结

相比FedEraser，本文先在全局模型上减去中毒更新，再利用知识蒸馏恢复模型性能，减少了额外的通信量，但是对服务器的存储量有较高的要求。未来可研究的方向包括：
1.在训练过程中的进行蒸馏
2.没有任何数据集的蒸馏

VivienneLuo
关注
专栏目录
【论文笔记】Federated Unlearning with Knowledge Distillation
lasetd的博客
07-06 1472
论文笔记
ECCV 2022 | FedX: 在无监督联邦学习中进行知识蒸馏
Paper weekly
09-28 3906
©PaperWeekly 原创 · 作者 | 张成蹊单位 | Freewheel机器学习工程师研究方向 | 自然语言处理论文的立意是在联邦学习过程中，结合对比学习，用局部与全局的两种蒸馏方式来无监督地学习样本的向量表示。FedX 不仅是一种创新的无监督学习算法，更是一种可以热插拔用于传统对比学习，使之效果提升的无监督损失函数。关键词：联邦学习（Federated Learning），对比学习（Co...
Federated Unlearning with Knowledge Distillation 概述
qq_45027419的博客
02-16 697
提出了一种新的联邦学习方法，通过从模型中，并利用知识蒸馏方法来，而不需要使用来自客户端的任何数据。该方法对神经网络的类型没有任何限制，也不依赖于用户的参与。
【博士每天一篇文献-综述】2024最新联邦遗忘综述：Federated unlearning A survey on methods, design guidelines
BetterBench的博客
07-27 928
本文提供了联邦遗忘领域的全面综述，包括背景概念、动机、挑战以及与机器遗忘的区别，提供了一套详尽的联邦遗忘算法设计和实现指南，包括算法应满足的要求和评估指标的深入分析。建立了一个评估联邦遗忘效果的指标体系，包括效率提升、性能恢复和遗忘验证等指标。本文将联邦遗忘算法分为客户端遗忘、类遗忘、样本遗忘、基于梯度修改、聚类、贝叶斯FL、差分隐私以及其他方法等类别。总结了联邦遗忘的经验教训以及联邦遗忘存在的挑战。
【论文阅读笔记】Federated Unlearning with Knowledge Distillation
leticia_m的博客
05-19 704
个人阅读笔记，如有错误欢迎指出
ReputationBased-Regional-Federated-Learning-for-Knowledge-Tradin
04-04
联邦学习FL+激励机制+区块链论文阅读2 论文资源 Reputation-Based Regional Federated Learning for Knowledge Trading in Blockchain-Enhanced IoV 区块链增强物联网中基于声誉的知识交易区域FL
论文《Privacy-Preserving Federated Deep Learning with Irregular Users》实验部分
WANG_FENG_的博客
08-09 1043
5.1 Functionality 5.2 Accuracy 5.2.1 Effect of iteration times with different proportions of irregular data 我们首先讨论了加密方法中迭代次数的影响。如第3.3节和第4.3节所述，我们知道在PPFDLbscand PPFDLimd的初始化过程中，xm的值∗在第一次迭代中使用的每个梯度m都需要初始化。Works[25]给出了每个梯度xm∗可以初始化为第m个梯度上所有用户总和的平均值。然而，由..
FD-FAug：Communication-Efficient On-Device Machine Learning: Federated Distillation and Augmentation
qq_33619359的博客
05-13 891
NeurIPS2018，应该是第一篇结合蒸馏和联邦的文章了，所以从这开始看顶会顶刊的文章，希望尽快有自己的想法。文章将通讯传递的模型梯度换成了类别平均logits提升了通讯效率，使用GAN生成图片处理数据异构问题。code: 没找到。
李则熹-Wireless Federated Distillation for Distributed Edge1
08-04
本文专注于研究无线环境下的联邦学习（Federated Learning, FL）及其在异构数据上的应用，同时提出了一种新的混合联邦蒸馏（Hybrid Federated Distillation, HFD）方案。我们探讨了基于独立源-信道编码的数字实现和...
论文阅读---联邦忘却学习研究综述
zzzzzxzzzz的博客
03-07 1628
面向全局模型的忘却算法直接对全局模型参数进行修改并利用用户数据调整全局模型，而面向局部模型的算法则利用用户训练的局部模型参数对全局模型参数进行间接修改。un}共同训练机器学习模型，得到模型最优参数，其中每个用户持有训练数据。面向局部模型的联邦忘却学习算法通过对用户上传的局部模型参数或用户本地训练的梯度进行修改，利用模型聚合修改全局模型参数，从而实现联邦忘却学习。训练更新校正算法在现有模型的基础上增加额外的联邦学习训练，对训练过程中产生的模型参数进行修正，并通过聚合修正后的模型修改全局模型的参数。
《Federated Unlearning via Active Forgetting》论文精读
GCTTTTTT的博客
07-28 1108
对机器学习模型隐私的⽇益关注催化了对机器学习的探索，即消除训练数据对数学学习模型影响的过程。这种担忧也出现在联邦学习领域，促使研究⼈员解决==联邦遗忘学习==问题。然⽽，联邦遗忘仍然具有挑战性。现有的遗忘⽅法⼤致可分为两种⽅法，即==精确遗忘和近似遗忘==。⾸先，以分布式⽅式实现精确遗忘（通常依赖于分区聚合框架）在理论上不会提⾼时间效率。其次，现有的联邦（近似）遗忘⽅法存在不精确的数据影响估计、⼤量的计算负担或两者兼⽽有之的问题。为此，该论文提出了⼀种==基于增量学习的新型联邦遗忘框架==，该框架独⽴于特定
【论文笔记】联邦忘却学习研究综述
信息安全专业研究生在读，记录学习内容
06-30 915
联邦学习［11］保护用户隐私数据的前提下实现模型训练，进而促进数据的流通和共享。其中，模型聚合公式为：联邦学习的机器学习模型对所有参与训练的用户开放，攻击者可以在本地训练过程中访问全局模型，根据模型反推参与者的数据信息，进而导致数据隐私泄露成员推理攻击模型反转攻击恶意模型攻击等等……隐私保护、攻击抵抗的应用。
一些知识蒸馏相关论文简读
lsfeitianzhuzhuxia的博客
05-12 620
MulDE: Multi-teacher Knowledge Distillation for Low-dimensional Knowledge Graph Embeddings Knowledge Transfer via Dense Cross-Layer Mutual-Distillation Distilling a Powerful Student Model via Online Knowledge Distillation Distill on the Go: Online knowledg
联邦学习(联合学习) Federated Learning(FL) (数据孤岛)(隐私计算)
热门推荐
hxxjxw的博客
08-24 1万+
联邦学习，是联邦机器学习的简称, 也叫联合学习，联盟学习 谷歌公司和微众银行分别提出了不同的“联邦学习”(Federated Learning)算法框架 联邦学习是一种机器学习设定，其中许多客户端在中央服务器的协调下共同训练模型，同时保持训练数据的去中心化及分散性。 联邦学习的长期目标：在不暴露数据的情况下分析和学习多个数据拥有者的数据。（目的：解决数据孤岛） 联邦学习通过联合多方在不泄露或汇聚各方原始数据的前提下进行联合建模 一般来说联邦学习中进行交换的数据是进行加密的模型或梯...
联邦学习笔记（一）
feng_zhiyu的博客
09-02 3943
本文首发于https://yu-feng.top/ 写在前面 笔记主要参考《Federated Machine Learning Concept and Applications》和《联邦学习》。作为一个入门笔记，可以当作是论文译文也可以作为进一步学习的框架。按照该论文做的一个框架，同时尽量将《联邦学习》书中部分内容进行整合，当然最好是能够利用好这本书相关研究内容。 摘要 当今人工智能仍然面临两大挑战： 在大多数工业中，数据以 “孤岛”形式存在 加强数据隐私和安全问题 针对上述挑战提出可能的解决方法：
[论文阅读]《联邦学习研究综述》
weixin_44385465的博客
06-14 659
今天又看了一篇综述，感觉学习到了不少东西，但是文中提到的文章也有很多可以继续学习，稍微整理了一下。
顶会论文合集 | 联邦学习 x 计算机视觉
OpenMpc的博客
09-02 1579
CD2-pFed, a novel Cyclic Distillation-guided Channel Decoupling framework, to personalize the global model in FL, under various settings of data heterogeneity. CD2-pFed，一个新的循环蒸馏引导的通道解耦框架，在各种数据异质性的设置下，在FL中实现全局模型的个性化。
禁用微软的windos安全中心
最新发布
qq_54523516的博客
10-12 672
描述：下载第三方软件常常会收到病毒防护秒杀，第2---提前下载在U盘解压会被干掉程序文件。第3---运行的时候报错，被干掉运行文件。选择禁用windows defender。打开WDControl 1.5.0软件。打开windows安全中心。第1---直接无法下载。
Blockchained On-Device Federated Learning
05-12
Blockchained On-Device Federated Learning 是一种结合区块链和设备本地联合学习的技术。它允许设备在不泄露原始数据的情况下共享模型参数，并确保所有参与者都得到透明和公正的奖励。 具体来说，该技术使用...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值