FedRecovery: Differentially Private Machine Unlearning for Federated Learning Frameworks

FedRecovery: Differentially Private Machine Unlearning for Federated Learning Frameworks 《FedRecovery：面向联邦学习框架的差分隐私机器遗忘》

b站视频链接：https://www.bilibili.com/video/BV1Yy411h7P6/?vd_source=4abbaefcba03a8f8ab575d07cd59a36d

研究背景

1.1 什么是机器遗忘

最近的法规要求（欧盟的《通用数据保护条例》，加拿大的《消费者隐私保护法》和加州的《消费者隐私法》），在某些删除请求时，用户的个人信息应从数据库以及机器学习模型中删除。尽管从内存存储中擦除数据记录很简单，但通常很难从已经训练过的模型中删除特定数据样本的影响。它的目的是对已经训练好的模型进行后处理，以消除特定训练样本的影响，使得输出模型“看起来好像从未见过被遗忘的数据”。

为什么需要机器遗忘？
1.从模型中遗忘个体是防止模型反演攻击和成员推断攻击的理想方式。此外，遗忘技术在消除由恶意客户端进行的数据污染攻击方面也起着重要作用。
2. 如果以前的训练数据已经过时或质量较低，机器遗忘也可用于更新模型。

1.2 问题的定义和论文目的

问题的定义：如上图所示，当训练一个猫狗识别模型时，用户可以准确地识别图片，当用户申请遗忘狗图片的消息后，可以简单地向模型的参数添加大量噪声，这确实消除了待遗忘数据的影响，但也破坏了模型对剩余数据的效用。因此，机器遗忘的挑战在于如何在避免灾难性遗忘的情况下遗忘目标数据，灾难性遗忘是指当模型为其他任务进行微调时，模型在某些任务上迅速失去准确性的现象。

论文目的：假设有n个用户进行联邦学习训练，当模型训练结束后，用户n申请遗忘请求（为了提高可读性，作者假设第 n 个客户端是希望遗忘其数据的客户端，但遗忘算法适用于任意客户端），最容易想到的是剩下的n-1个用户重新训练模型，但是会大大地消耗时间，因此，作者提出一种遗忘算法，FedRecovery，它是基于n个用户训练好之后的模型消除用户n的影响，新的遗忘模型和n-1个用户重新训练模型都进行差分隐私加噪，使得二者模型具有不可区分，从而达到遗忘的效果。

1.3 不可区分性（基于差分隐私）

1.4 FedRecovery概述

内容分析

2.1 梯度残差

2.2 消除用户n增量效应的影响

2.3 对ML和MU算法进行扰动

2.4 不可区分的证明

实验分析

3.1 实验设置

3.2 隐私预算的影响

3.3 遗忘算法的有效性

3.4 运行时间的比较

3.5 遗忘模型上的MIA性能

总结

两个要点
1.机器遗忘算法消除被遗忘用户的梯度残差
2.基于差分隐私的遗忘模型和学习模型的不可区分性

L. Zhang, T. Zhu, H. Zhang, P. Xiong and W. Zhou, “FedRecovery: Differentially Private Machine Unlearning for Federated Learning Frameworks,” in IEEE Transactions on Information Forensics and Security, vol. 18, pp. 4732-4746, 2023, doi: 10.1109/TIFS.2023.3297905. keywords: {Data models;Federated learning;Computational modeling;Mathematical models;Data privacy;Training;Servers;Machine unlearning;differential privacy;federated learning}