Machine Unlearning: A Survey--反学习

最新推荐文章于 2024-07-05 10:32:46 发布

Mars_prime

最新推荐文章于 2024-07-05 10:32:46 发布

阅读量1.7k

点赞数 8

分类专栏： unlearning 文章标签：学习人工智能

本文链接：https://blog.csdn.net/Mars_prime/article/details/134080736

版权

unlearning 专栏收录该内容

1 篇文章 0 订阅

订阅专栏

nulearning调查

Machine unlearning (a.k.a. selectively forgetting, data deletion, or scrubbing)

反学习，又名选择性学习，数据删除，或者数据清理

机器遗忘（又名选择性遗忘、数据删除或清理）要求可以从训练数据集和训练模型中完全快速地删除样本及其影响[13-15]。图 1 展示了训练模型的机器遗忘示例。

讨论几种技术与反学习的区别

Differential Privacy. 差异化隐私保证通过查看模型输出，人们无法判断样本是否在训练数据集中。这种技术确保了每个样本对最终模型的贡献有一个微妙的界限，但机器取消学习的目标是删除特定于用户的训练样本。
Data Masking.数据屏蔽旨在隐藏原始数据集中的敏感信息。它转换敏感数据以防止它们在不可靠的环境中泄露。相比之下，机器反学习的目的是防止经过训练的模型泄露有关其训练样本的敏感信息。
Online Learning.在线学习根据反馈过程中的数据快速调整模型，使模型能够及时反映在线变化。在线学习和机器反学习之间的一个主要区别是，前者需要合并操作来合并更新，而机器反学习是一种逆操作，当收到取消学习请求时消除这些更新。
Catastrophic forgetting.灾难性遗忘是指当模型针对新任务进行微调时，先前学习的任务的性能显着下降。灾难性遗忘导致深度网络失去准确性，但其使用的数据信息仍然可以通过分析权重来获取，因此它不满足机器反学习所需的条件。

当用户撤销对某些训练数据的权限时，仅仅从原始训练数据集中删除这些数据是不够的，因为攻击者仍然可以从训练模型中泄露用户信息。从模型中完美删除信息的一种直接方法是从头开始重新训练（图 1 中的重新训练过程）。然而，许多复杂的模型是建立在大量样本的基础上的。再训练通常是一个计算成本高昂的过程。此外，在一些特定的学习场景中，例如联邦学习[31, 32]，训练数据集可能无法访问，从而根本无法进行再训练。因此，为了降低计算成本并使机器在所有情况下都能进行忘却学习，应该提出新的技术（图1中的忘却过程）。

本次调查的贡献

我们根据当前机器反学习技术的基本原理和遗忘策略提出了一种新的分类法。
我们根据所提出的分类法全面总结了最先进的反学习方法，展示了它们的优点和缺点。
我们总结了分类学中机器反学习的验证方法，并回顾了相关反学习技术的实现
我们对机器反学习中的开放问题进行了批判性和深入的讨论，并指出了可能的进一步研究方向。

与机器反学习方面现有调查的比较

Thanh等人。 [35]总结了机器反学习的定义、遗忘请求类型以及不同的设计要求。他们还根据可用模型和数据提供了现有反学习方案的分类。
索拉布等人。 [36]分析了机器学习中的隐私泄露问题，并简要描述了如何通过潜在的方法来实现“被遗忘权”。
安维斯等人。 [37]讨论了反学习背后的语义，并回顾了基于逻辑、权重和权重分布的现有反学习方案。他们还简要描述了机器反学习的部分验证方案。

Definition of Machine Unlearning

考虑我们想要从训练数据集和训练模型中删除的一组样本，表示为 Du。失学习过程U(A(D),D,Du)被定义为从训练模型A(D)、训练数据集D、失学习数据集Du到模型wu的函数，这保证了失学习模型wu表现得好像它从未见过未学习的数据集 Du。

Targets of Machine Unlearning

机器遗忘的最终目标是重现一个模型

被训练得就像在没有看到反学习数据的情况下一样。
消耗尽可能少的时间。

反学习模型的性能基线是从头开始重新训练的模型（也称为本机重新训练）的性能基线。

定义 2.2（本地再训练 [29]）。假设学习过程 A (·) 永远不会看到未学习的数据集 Du，从而对剩余数据集执行重新训练过程，表示为 Dr = D\Du。这样，再训练过程定义为：

朴素的再训练自然地确保可以从训练数据集和已经训练的模型中学习到有关样本的任何信息。然而，与再训练过程相关的计算和时间开销可能非常昂贵。此外，如果训练数据集不可访问，则重新训练过程并不总是可能的，例如联邦学习[39]。因此，提出了两种替代的反学习目标：精确遗忘（反学习）和近似遗忘（反学习）。

精确的反学习保证了未学习的模型和重新训练的模型的分布是无法区分的。相比之下，近似遗忘分别减轻了权重和最终激活的不可区分性。在实践中，近似遗忘进一步演化为强遗忘策略和弱遗忘策略。

图 3 说明了机器遗忘的目标及其与训练模型的关系。不同的目标本质上是对应于遗忘结果的要求。

定义 2.3（精确遗忘[40]）。给定分布测量 K (·)，例如 KL 散度，如果其中 P (·) 表示权重的分布，则遗忘过程 U (·) 将提供精确的遗忘目标。

精确忘却保证两个输出分布无法区分，从而防止观察者（例如攻击者）精确获取有关 Du 的任何信息。

然而，一个不那么严格的遗忘目标是必要的，因为只有简单且结构良好的模型才能实现精确的遗忘目标[24]。因此，提出了适用于复杂机器学习模型的近似取消学习。

定义 2.4（近似遗忘[37]）。如果...K(P(U(A(D)，D，Du))，P(A(D\Du)))被限制在可容忍的阈值之内，则失学习过程U(·)被定义为强失学习。近似遗忘确保反学习模型的分布和重新训练模型的分布几乎无法区分。这种近似通常由差分隐私技术保证，例如 (ε, δ) 认证的去学习。

根据分布的估计方式，近似遗忘学习可以进一步分为强遗忘学习和弱遗忘学习。强遗忘是基于模型内部参数分布之间的相似性建立的，而弱遗忘是基于模型最终激活结果的分布。

Tartgets	Aims	Advantages	Limitations
Exact Unlearning	使原生再训练模型和反学习模型的分布无法区分	确保攻击者无法从未学习的模型中恢复任何信息	实施困难
Strong Unlearning	确保两个模型的分布近似无法区分	比完全忘记更容易实施	攻击者仍然可以从未学习的模型中恢复一些信息
Weak Unlearning	仅确保两个最终激活的分布无法区分（结果无法区分）	机器失学习最容易的目标	无法保证模型内部参数是否成功忘却

机器遗忘的必要条件Desiderata of Machine Unlearning

为了公平、准确地评估遗忘方法的效率和有效性，有一些数学属性可用于评估。

定义 2.5（一致性）。假设有一组样本 Xe ，其真实标签为 Ye ：ye 1, ye 2, 。。。，是的。令 Yn : yn 1 , yn 2 , . 。。 , yn n 和 Yu : yu 1 , yu 2 , . 。。 , yu n 分别是从重新训练的模型和未学习的模型生成的预测标签。如果所有 yn i = yu i , 1 ≤ i ≤ n，则取消学习过程 U (A (D), D, Du) 被认为提供了一致性属性。

一致性表示重新训练的模型和反学习的模型的行为有多相似。它代表了反学习策略是否能够有效去除反学习数据集Du的所有信息。如果对于每个样本，反学习的模型给出与重新训练的模型相同的预测结果，那么攻击者就无法推断有关反学习的数据的信息。

定义 2.6（准确性）。给定剩余数据集中的一组样本 Xe，其中它们的真实标签是 Ye ：ye 1, ye 2,...。。。，是的。设于：于1，于2，。。。 , yu n 表示模型在遗忘过程后产生的预测标签，wu = U (A (D), D, Du)。如果所有 yu i = ye i , 1 ≤ i ≤ n ，则反学习过程被认为提供了准确性属性。

准确度是指未学习模型正确预测样本的能力。它揭示了模型在遗忘过程后的可用性，因为精度低的模型在实践中是无用的。准确性是任何遗忘机制的关键组成部分，因为我们声称，如果该过程显着损害原始模型的准确性，则遗忘机制是无效的。

定义 2.7（可验证性）。遗忘过程之后，验证函数V(·)可以进行可区分的检查，即V(A(D))≠V(U(A(D)，D，Du))。然后，忘却过程 U (A (D), D, Du) 可以提供可验证性属性。

可验证性可用于衡量模型提供者是否已成功忘却所请求的忘却数据集 Du。以下面的后门验证方法为例[44]，如果未学习样本xd的预注入后门被验证存在于A(D)中但不存在于U(A(D)，D，Du)中，即V (A(D)) = true 且 V(U(A(D), D, Du)) = f 另外，遗忘方法 U(A(D), D, Du) 可以被视为提供可验证性。

遗忘和验证机制的分类

图 4 总结了本文中使用的机器取消学习的一般分类法及其验证。该分类法的灵感来自于遗忘策略的设计细节。专注于修改训练数据的忘却方法被归类为数据重组，而直接操纵训练模型权重的方法则被称为模型操纵。至于验证方法，最初，我们将这些方案分类为实验或理论，随后，我们根据它们使用的指标总结这些方法。

Data Reorganization.

数据重组。数据重组是指模型提供者通过重新组织训练数据集来忘记数据的技术。根据数据重组模式的不同，主要包括三种不同的处理方法：混淆、剪枝和替换[30, 45]。表 4 比较并总结了这些方案之间的差异。

数据混淆：在数据混淆中，模型提供者故意在剩余数据集中添加一些精心设计的数据，即 Dnew ← Dr ∪ Dobf ，其中 Dnew 和 Dobf 分别是新的训练数据集和精心设计的数据。然后根据 Dnew 对训练好的模型进行微调，以忘却一些特定的样本。此类方法通常基于通过将数据集与精心设计的数据重新组合来删除有关 Du 的信息的想法。例如，格雷夫斯等人。 [45]用随机选择的错误标签重新标记 Du，然后对训练模型进行多次迭代微调以消除学习数据。
数据剪枝：在数据剪枝中，模型提供者首先将训练数据集分割成多个子数据集，并基于每个子数据集训练多个子模型。然后使用这些子模型来协作聚合共识预测，即 D → D1 ∪ D2 ∪ ... ∪ Dm, wi = A (Di ) 和 f (x) = Agg(Mwi (x))，其中 Di , 0 < i < m 为子数据集，∩Di = ∅，∪Di = D，m 为子数据集个数，wi 为子模型，Agg(·) 为聚合函数。反学习请求到达后，模型提供者从包含未学习样本的子数据集中删除这些样本，然后重新训练受影响的子模型。该方法的灵活性在于，unlearning数据集Du的影响仅限于分割后的每个子数据集而不是整个数据集。以[30]中的SISA方案为例，SISA框架首先将训练数据集随机划分为k个分片。然后，对每个分片一个模型分别进行一系列模型的训练。当需要忘记一个样本时，首先将其从包含它的分片中删除，并且仅重新训练与这些分片对应的子模型。
数据替换：在数据替换中，模型提供者故意将训练数据集D替换为一些新的变换后的数据集，即Dtrans←D。然后使用变换后的数据集Dtrans来训练模型，以便在收到unlearning后很容易实现unlearning要求。例如，曹等人。 [29]用几个有效可计算的变换替换了训练数据集，并使用这些变换来完成模型的训练。从转换后的数据集中删除任何样本后，这些转换可以更快地更新。因此，计算开销减少，并且遗忘操作更加有效。

Model Manipulation.

在模型操作中，模型提供者旨在通过调整模型参数来实现忘却操作。模型操纵主要包括以下三类。表 4 比较并总结了这些方案之间的差异。

模型迁移：模型迁移时，模型提供者直接更新模型参数，以抵消反学习样本对模型的影响，即 wu = w + δ，其中 w 是原始训练模型的参数，δ 是更新后的模型参数价值。这些方法通常基于计算样本对模型参数的影响，然后更新模型参数以消除该影响的思想。准确计算样本对模型参数的影响通常极其困难，尤其是对于复杂的深度神经模型。因此，许多基于模型转换的遗忘方案都是基于特定的假设。例如，Guo 等人的 [41] 反学习算法是为具有强凸正则化的线性模型设计的。
模型替换：模型替换时，模型提供者直接用预先计算好的参数替换部分参数，即 wu ← wnoef f ect ∪ wpre ，其中 wu 是反学习模型的参数，wnoef f ect 是部分不受影响的静态参数，wpre是预先计算的参数。这些方法通常依赖于特定的模型结构来提前预测和计算受影响的参数。它们仅适用于一些特殊的机器学习模型，例如决策树或随机森林模型。以[57]中的方法为例，根据预先计算的决策节点替换受影响的中间决策节点，从而生成未学习的模型。
模型剪枝：在模型剪枝中，模型提供者从训练好的模型中剪枝一些参数，以忘却给定的样本，即wu←w/δ，其中wu是忘却模型的参数，w是训练后模型的参数， δ 是需要去除的参数。此类取消学习方案通常也基于特定的模型结构，并且通常伴随着微调过程以在模型被剪枝后恢复性能。例如，王等人。 [55]引入了术语频率逆文档频率（TF-IDF）来量化卷积神经网络模型中通道的类别区分，其中具有高 TF-IDF 分数的通道被修剪。

	方案	基本思想	优点	局限性
数据重组	数据混淆	有意将一些精心设计的数据集添加到训练数据集中并重新训练模型	可以适用于几乎所有类型的车型；不需要保留太多中间冗余数据	完全忘记模型中的信息并不容易
数据重组	数据修剪	从包含未学习样本的子数据集中删除未学习样本。然后仅重新训练受这些样本影响的子模型	易于实施和理解；以更快的速度完成忘却过程	需要额外的存储空间；随着子数据集数量的增加，准确性会降低
数据重组	数据替换	故意用一些新的转换数据集替换训练数据集	支持完全忘却模型中的信息；易于实施	通过替换很难保留原始数据集的所有信息
模型操作	模型转换	直接更新模型参数，抵消未学习样本对模型的影响	不需要太多的中间参数存储；可以提供理论验证	对于复杂的模型，不容易找到合适的偏移值；计算偏移值通常很复杂
模型操作	模型剪枝	用预先计算的参数替换部分参数	减少中间存储带来的成本；遗忘过程可以更快的速度完成	仅适用于部分型号；不容易实施和理解
模型操作	模型替换	从已经训练的模型中修剪一些参数	很容易完全忘记模型中的信息	仅适用于部分机器学习模型；原来的模型结构通常会改变

Verification Mechanisms

验证取消学习方法是否具有可验证性并不是一件容易的事。模型提供者可能会对外声称他们从模型中消除了这些影响，但实际上情况并非如此[48]。对于数据提供者来说，证明模型提供者已经完成了遗忘过程也可能很棘手，特别是对于具有巨大训练数据集的复杂深度模型。去除一小部分样本对模型的影响可以忽略不计。此外，即使未学习的样本确实被删除了，模型仍然有很大的机会做出正确的预测，因为其他用户可能已经提供了类似的样本。因此，提供合理的失学习验证机制是一个值得进一步研究的课题。

Empirical evaluation.

Retraining-based verification:再训练自然可以提供可验证性，因为再训练数据集不再包含需要忘记的样本。这是最直观、最容易理解的解决方案。
Attack-based verification:取消学习操作的本质目的是减少模型过拟合导致的敏感信息泄露。因此，一些攻击方法可以直接有效地验证遗忘操作，例如成员推理攻击[5]和模型反转攻击[4]。此外，索默等人。 [44]在机器学习即服务（MLaaS）的背景下从个人用户的角度提供了一种新颖的后门验证机制[61]。这种方法可以高度可信地验证服务提供商是否遵守用户忘记信息的权利。
Relearning time-based verification:反学习时间可用于衡量模型中剩余的有关未学习样本的信息量。如果模型在重新训练时间很少的情况下快速恢复为原始训练模型的性能，那么它很可能仍然记住有关未学习样本的一些信息[27]。
Accuracy-based verification:经过训练的模型通常对训练数据集中的样本具有较高的预测精度。这意味着遗忘过程可以通过模型输出的准确性来验证。对于需要忘记的数据，理想情况下准确率应该与没有看到 Du [40] 的情况下训练的模型相同。此外，如果一个模型在被攻击后的准确度能够在忘却对抗性数据后恢复（攻击对模型造成影响，如果通过反学习消除了这种影响，说明反学习成功），我们也可以说忘却得到了验证。

Theoretical calculation.

Theory-based verification:一些方法提供了经过认证的反学习定义 [41, 53]，这确保无法将反学习的模型与从头开始在剩余数据集上训练的模型区分开来。（反学习模型和重新学习模型无法区分，说明反学习成功）这还可以提供一种验证方法，直接保证所提出的方案可以忘记样本。
Information bound-based verification:基于信息绑定的验证：戈拉特卡等人。 [40, 43]，设计了一种新的度量来验证遗忘方案的有效性，他们测量了需要遗忘的样本的残留信息的上限。更少的残留信息代表更有效的遗忘操作。

表 5 总结并比较了每种验证方法的优点和局限性。

Methods	Basic Ideas	Advantages	Limitations
以再训练为基础	删除未学习的样本并重新训练模型	直观且易于理解	仅适用于特殊的遗忘方案
基于攻击	基于成员推理攻击或模型反转攻击	直观衡量对某些攻击的防御效果	验证能力不足
基于时间的重新学习	测量反学习模型在未学习样本上再学习恢复性能的时间	易于理解且易于实施	验证能力不足
基于准确性	与没有反学习样本训练的模型相同	易于理解且易于实施	验证能力不足
基于理论	确保未学习模型和重新训练模型之间的相似性。	全面且有理论支持	实现比较复杂，仅适用于某些指定型号
基于信息绑定	测量未学习样本的残差信息的上限	全面且有理论支持	实施难度大，仅适用于部分指定机型

DATA REORGANIZATION

在本节中，我们回顾数据重组方法如何支持遗忘过程。由于证明反学习算法的可验证性也很重要，并且应该在机器反学习研究中考虑，因此我们针对每种反学习方法分别进行讨论。

Reorganization Based on Data Obfuscation（基于数据混淆的重组）

Unlearning Schemes Based on Data Obfuscation.（基于数据混淆的遗忘方案）

一般来说，大多数模型攻击场景，例如成员推理攻击，都是由模型过度拟合引起的，并且依赖于基于已知输入变化观察输出变化[62]。也就是说，对于绝大多数攻击者来说，通过观察输出置信向量的变化，很容易对一些经过训练的模型进行攻击。一种可选的机器反学习方案可以被解释为混淆模型对样本的理解，从而无法在模型中保留任何正确的信息。这种方法可以进一步混淆模型输出的置信向量[46]。如图5所示，当收到反学习请求时，模型继续基于构建的混淆数据Dobf训练w，从而产生更新的wu。

本着这种精神，格雷夫斯等人。 [45]提出了一种随机重新标记和重新训练机器取消学习框架。使用随机选择的错误标签重新标记敏感样本，然后根据修改后的数据集对机器学习模型进行多次迭代微调，以忘却那些特定样本。同样，Felps 等人。 [46]故意毒害反学习数据集的标签，然后根据新的毒害数据集对模型进行微调。然而，这种忘却方案只会混淆模型输出和样本之间的关系；模型参数可能仍包含有关每个样本的信息。

训练后的模型始终通过最小化所有类别的损失来进行训练。如果一个人能够学习一种只能使某些类的损失最大化的噪声，那么这些类就可以被遗忘。基于这个想法，Tarrun 等人。 [27]将遗忘过程分为两个步骤，损害和修复。第一步，学习误差最大化噪声矩阵，该矩阵由与未学习类别相对应的高影响力样本组成。噪声矩阵的效果在某种程度上与遗忘数据相反，并且可以破坏遗忘数据的信息以遗忘单个/多个类别。为了修复模型遗忘过程导致的性能下降，修复步骤根据剩余数据进一步调整模型。

同样，张等人。 [63]考虑了图像检索领域的遗忘请求。开发的方法涉及使用生成方法创建噪声数据来调整检索模型的权重并达到遗忘的目的。他们还提出了一种新的学习框架，其中包括静态和动态学习分支，确保生成的噪声数据只影响被遗忘的未学习数据，而不影响其他剩余数据的贡献。然而，上述两种方案消耗更多的时间来生成用于反学习过程的噪声，这将影响取消学习过程的效率[27, 63]。

基于数据混淆的方案的可验证性。Verifiability of Schemes Based on Data Obfuscation.

为了验证他们的忘却过程，格雷夫斯等人。 [45]使用了两种最先进的攻击方法：模型反转攻击和成员推理攻击——评估在忘却过程后特定样本的模型参数中保留了多少信息——换句话说，有多少信息取消学习过程后可能会泄露。他们的模型反转攻击是 Fredrikson 等人提出的标准模型反转攻击的修改版本。 [6]。这三个修改包括：将过程函数调整为每n个梯度下降步骤；在每次反演之前向每个特征添加少量噪声；并修改执行的攻击迭代次数。这些调整使他们能够分析复杂的模型。对于成员推理攻击，他们使用了 Yeom 等人概述的方法。在[64]中。 Felps等人的可验证性分析也是基于成员推理攻击[46]。

相比之下，塔伦等人。 [27]通过多次测量评估了可验证性。他们首先通过测量反学习模型达到与原始训练模型相同的精度的时期数来评估重新学习时间。然后，进一步评估原始模型、反学习过程后的模型和重新训练的模型之间的距离。

Reorganization Based on Data Pruning基于数据剪枝的重组

基于数据修剪的忘却方案。

如图 6 所示，基于数据剪枝的反学习方案通常基于集成学习技术。布尔图尔等。 [30]提出了一种“分片、隔离、切片和聚合”（SISA）框架，类似于当前的分布式训练策略[65, 66]，作为机器取消学习的方法。通过这种方法，训练数据集 D 首先被划分为 k 个不相交的分片 D1、D2、····、Dk。然后，子模型 M1 w、M2 w、···、Mk w 在每个分片上单独训练，这限制了样本对在包含这些样本的分片上训练的子模型的影响。在推理时，每个子模型的 k 个单独预测被简单地聚合以提供全局预测（例如，通过多数投票），类似于机器学习集成的情况[67]。当模型所有者收到反学习数据样本的请求时，他们只需要重新训练其分片包含该样本的子模型即可。

随着失学习数据量的增加，SISA会导致模型性能下降，使其仅适用于小规模场景。这些取消学习方案的成本是重新训练受影响的子模型所需的时间，这与分片的大小直接相关。分片越小，遗忘方案的成本越低。同时，每个子模型的训练数据集较少，这会间接降低集成模型的准确性。布尔图尔等人。 [30]提供了三种关键技术来缓解这个问题，包括在没有隔离的情况下遗忘、数据复制和核心集选择。

除了这个方案之外，Chen 等人。 [33]将[30]中开发的方法引入推荐系统，并设计了三种新颖的数据划分算法，将推荐训练数据划分为平衡的组，以确保保留协作信息。魏等人。 [68]关注患者相似性学习中的忘却问题，提出了PatEraser。为了维护患者之间的比较信息，他们开发了一种新的数据分区策略，将具有相似特征的患者分组到多个分片中。此外，他们还提出了一种新颖的聚合策略来提高全局模型的效用。

严等人。 [69] 设计了一种用于精确机器取消学习的高效架构，称为 ARCANE，类似于 Bourtoule 等人的方案。 [30]。他们没有统一划分数据集，而是按类别划分数据集，并利用一类分类器来减少准确性损失。此外，他们还对每个子数据集进行预处理，以加快模型再训练速度，其中包括代表性数据选择、模型训练状态保存以及按擦除概率进行数据排序。尽管如此，上述取消学习方案[30,33,69]通常需要缓存大量中间结果来完成取消学习过程。这会消耗大量的存储空间。

SISA 旨在分析欧几里得空间数据（例如图像和文本），而不是非欧几里得空间数据（例如图形）。到目前为止，许多重要的现实世界数据集都以图的形式表示，例如社交网络[70]、金融网络[71]、生物网络[72]或交通网络[73]。为了分析这些图中的丰富信息，图神经网络（GNN）表现出了前所未有的优势[74, 75]。 GNN 依赖于图的结构信息和相邻节点特征。然而，天真地将SISA方案应用于GNN进行去学习，即将训练数据集随机划分为多个子图，会破坏训练图的结构，并可能严重损害模型的效用。

为了在保留图数据集的结构信息的同时进行有效的再训练，Chen 等人。 [47]提出了GraphEraser，一种针对图数据量身定制的新型机器取消学习方案。他们首先定义了图场景中两种常见的机器取消学习请求：节点取消学习和边缘取消学习，并提出了图取消学习的通用管道，该管道由三个主要步骤组成：图划分、分片模型训练和分片模型恶化。在图分区步骤中，他们引入了改进的平衡标签传播算法（LPA）[76]和平衡嵌入 k-means [77]分区策略，以避免分片大小高度不平衡。鉴于不同的子模型可能对最终预测提供不同的贡献，他们还提出了一种基于学习的聚合方法OptAggr，该方法优化每个子模型的重要性得分，以最终提高全局模型效用。

确定性的取消学习方案，例如 SISA [30] 或 GraphEraser [47]，并没有承诺可以从训练模型和未学习模型之间的差异中了解特定样本的内容。如果攻击者在取消学习操作之前和之后访问模型，这可能会加剧用户隐私问题[78]。为了避免这种情况，一种有效的方法是在执行取消学习操作时隐藏有关未学习模型的信息。

在实际应用中，Neel 等人。 [50]提出了一种基于更新的失学习方法，该方法执行多次梯度下降更新来构建失学习模型。该方法旨在处理具有稳定运行时和稳态误差的任意长的遗忘请求序列。此外，为了缓解上述失学习问题，他们引入了秘密状态的概念：首先对训练好的模型执行失学习操作。然后，通过添加高斯噪声来扰乱未学习的模型以供发布。这有效地保证了攻击者在取消学习操作之后无法实际访问未学习的模型，从而有效地隐藏了未学习的模型中的任何敏感信息。他们还提供了经过 (ε, δ) 认证的不学习保证，并利用分布式优化算法和水库采样来为足够高维的数据提供改进的准确性/运行时间权衡。

在初始模型部署之后，数据提供者可以做出自适应的遗忘决策。例如，当安全研究人员发布识别训练数据集的特定子集的新模型攻击方法时，这些子集的所有者可能会迅速增加删除请求的数量。古普塔等人。 [49]将上述取消学习请求定义为自适应请求，并提出了一种使用SISA框架[30]的变体的自适应顺序机器取消学习方法以及差分隐私聚合方法[79]。他们使用差分隐私和最大信息理论[80]，普遍减少了从自适应序列到非自适应序列的失学习保证。结合先前针对序列取消学习请求的非自适应保证的工作，还为自适应取消学习序列提供了强大的可证明的取消学习保证。

他等人。 [48]开发了一种深度学习模型的去学习方法。他们首先引入了一种称为去趋势波动分析的过程[81]，该过程量化了未学习数据对模型参数的影响，称为时间残差记忆。他们观察到这种影响会呈指数衰减，随着时间的推移，其衰减速度会越来越快。根据这些结果，在训练过程中保留中间模型，并分为四个区域，分别为未见、已删除、受影响和未受影响。 Unseen表示未学习的样本尚未到达。删除包括取消学习的数据集。不受影响和受影响表示暂时残留记忆是否已消失。可以通过重用未见过且未受影响的模型并重新训练受影响的区域来缝合未学习的模型。然而，该方案没有提供任何理论验证方法来确保待学习数据的信息确实从模型中移除。

Verifiability of Schemes Based on Data Pruning.基于数据剪枝的方案的可验证性。

[29,30,33,47,68,69]中提出的取消学习方案本质上是基于自然具有可验证性的再训练机制。正如第 2.3 节中所讨论的，为取消学习方案提供可验证性的一种直接方法是在从训练数据集中删除需要取消学习的样本后从头开始重新训练模型。上述方案引入了分布式和集成学习技术，分别独立地训练子模型，以优化每个子数据集上的损失函数。然后聚合子模型以进行预测。在取消学习过程中，仅对受影响的子模型进行重新训练，这避免了较大的计算和时间开销，同时也提供了可验证性保证。

他等人。 [48]使用[44]中的后门验证方法来验证他们的忘却过程。他们设计了一个特制的触发器，并将这些“后门数据”植入到需要忘记的样本中，对模型的准确性影响很小。他们根据后门数据是否可以高成功率地攻击未学习模型来间接验证未学习过程的有效性。如果攻击结果的准确度较低，则证明所提出的失学习方法已经去除了未学习的数据。其他研究[49, 50]没有提供验证遗忘过程的方法。

Reorganization Based on Data Replacement基于数据替换的重组

基于数据替换的遗忘方案。

如图 7 所示，在数据替换方案中训练模型时，第一步通常是将训练数据集转换为容易忘记的类型，称为转换 T 。然后使用这些转换来单独训练模型。当取消学习请求到达时，仅需要更新一部分转换 ti（包含未学习样本的转换）并用于重新训练每个子模型以完成机器取消学习。

受到之前使用 MapReduce 加速机器学习算法的工作的启发 [82]，Cao 等人。 [29]提出了一种机器去学习方法，将训练数据集转换为求和形式。每个求和都是一些有效可计算变换的总和。学习算法仅依赖于总和，而不依赖于单个数据，这打破了训练数据集中的依赖性。要忘记一个数据样本，模型提供者只需要更新受该样本影响的求和并重新计算模型。然而，由于求和形式来自统计查询（SQ）学习，并且只有少数机器学习算法可以实现为SQ学习，例如朴素贝叶斯分类器[83]、支持向量机[84]和k均值聚类[85]，该方案适用性较低。

隆等人。 [86]提出了一种名为“选择性遗忘学习”的终身学习新方法，该方法涉及通过仅忘记先前任务中的特定类别而保留其余任务来更新新任务的模型。为了实现这一目标，作者设计了特定的助记码，它们是特定于类别的合成信号，被添加到相应类别的所有训练样本中。然后，利用灾难性遗忘机制，这些代码被用来忘记特定的类，而不需要原始数据。但值得注意的是，该方案缺乏任何理论验证方法来确认未学习的数据信息已成功从模型中去除。

Verifiability of Schemes Based on Data Replacement.基于数据替换的方案的可验证性。

曹等人。 [29]提供了一种基于准确性的验证方法。具体来说，他们使用Calandrino等人提出的系统推理攻击方法来攻击LensKit模型。 [87]并验证反学习操作是否成功阻止攻击产生任何信息。对于其他三个模型，他们首先进行数据污染攻击以影响这些模型的准确性。然后，他们分析了遗忘过程后模型的性能是否恢复到与污染攻击之前相同的状态。如果遗忘的模型确实恢复到污染前的值，则认为遗忘操作是成功的。隆等人。 [86]提供了一种新的度量，称为选择性遗忘测量学习（LSFM），它基于准确性的思想。

Summary of Data Reorganization数据重组总结

在最后几小节中，我们回顾了使用数据混淆、数据修剪和数据替换技术作为遗忘方法的研究。表 6 显示了调查研究的摘要，其中我们列出了每篇论文之间的主要差异。

从这些总结中，我们可以看到大多数去学习算法保留中间参数并利用原始训练数据集 [30, 47]。这是因为这些方案通常会对原始训练数据集进行分段，并重新训练在包含未学习样本的分段上训练的子模型。因此，特定样本的影响仅限于某些子模型，反过来，实际忘记学习样本所需的时间也减少了。然而，分段减少了时间，但代价是额外的存储空间。因此，研究更有效的遗忘机制是非常值得的，该机制可以确保遗忘过程的有效性，并且不会同时增加太多的存储成本。

此外，这些反学习方案通常支持各种反学习请求和模型，从样本到类或序列，从支持向量机到复杂的深度神经模型[29,47,50]。基于数据重组的遗忘方案很少直接在模型上运行。相反，他们通过修改原始训练数据集的分布并间接改变获得的模型来达到反学习的目的。好处是此类技术可以应用于更复杂的机器学习模型。除了它们的高适用性之外，它们中的大多数都可以提供强大的反学习保证，即反学习模型的分布与通过再训练获得的分布近似无法区分。

值得指出的是，随着遗忘过程的继续，基于数据重组的遗忘方法将影响模型的一致性和准确性[30,47,48]。准确性的降低源于这样一个事实：每个子模型都是在数据集的一部分而不是整个训练数据集上进行训练的。这种现象并不能保证反学习的模型的准确性与分割之前的结果相同。潜在的解决方案是在没有隔离的情况下使用遗忘、数据复制[30]。

提到的一些研究使用再训练方法间接验证遗忘过程 [30, 47]，而其他研究则通过基于攻击或基于准确性的方法提供可验证性 [27, 45, 46]。然而，大多数遗忘方案并没有在理论层面上进行进一步的研究。上述的反学习方案绝大多数都是通过实验来验证有效性，而没有支持方案的理论有效性。例如，理论有效性将表明攻击者在反学习过程后可以从反学习的模型中收集多少敏感信息，或者反学习的模型的参数与重新训练的模型的相似程度。因此，需要对遗忘方案的有效性进行进一步的理论研究。

总之，当面对复杂模型的反学习请求时，基于数据混淆的遗忘方案很难遗忘信息（反学习）。这是因为很难完全抵消反学习数据的影响。数据修剪方案总是会影响模型的准确性，因为它们通常使用部分训练数据集来训练子模型。对于数据替换方案，不可能找到可以替换原始数据集中的所有信息来训练模型的新数据集。因此，研究人员应该转向设计遗忘方案，在遗忘过程的有效性和模型可用性之间取得更多的平衡。

MODEL MANIPULATION模型操纵

模型训练阶段涉及创建一个有效的模型，复制训练数据集中的输入与模型输出之间的预期关系。因此，直接操作模型以消除特定关系可能是忘记样本的好方法。在本节中，我们全面回顾了通过模型操纵来进行反学习的最新研究。同样，针对每个类别单独讨论验证技术。

Manipulation Based on Model Shifting基于模型转换的操纵

Unlearning Schemes Based on Model Shifting.基于模型转换的解除学习方案

如图 8 所示，模型转换方法通常通过直接更新模型参数来消除未学习数据的影响。这些方法主要分为两类，一类是影响型反学习数据，另一类是渔夫反学习数据。influence unlearning and Fisher unlearning

(1).影响反学习方法

影响反学习方法通常基于影响理论[38]。Guo 等人[41]提出了一种新颖的反学习方案，称为认证移除。受差分隐私[88]的启发，认证去除首先限制了反学习模型和再训练模型之间的最大差异。然后，通过在模型参数上应用牛顿法的一个步骤，为使用可变凸损失函数训练的 L2- 正则化线性模型的实际应用提供了一种认证移除机制。此外，还采用了一种隐藏梯度残差的损失扰动技术来扰动训练损失。这进一步防止了对手从反学过的模型中提取信息。不过，值得注意的是，这种解决方案只适用于简单的机器学习模型，如线性模型，或者只调整深度神经网络的线性决策层，这并不能消除移除数据样本的信息，因为表征仍然是在模型内学习的。

Izzo 等人[51]提出了一种基于梯度更新的非学习方法，称为投影残差更新（PRU）。该方法侧重于线性回归，并展示了如何将 [41] 中给出的算法运行时间从二次复杂度提高到线性复杂度。反学习直觉如下：如果我们能在不知道 wu 的情况下，计算出反学习模型对 Du 中每个反学习样本 xiDu 预测的值ˆ yiDu = wu xiDu，然后最小化已训练模型对合成样本 xiDu ,ˆyi的损失，那么参数就会向 wu 靠拢，因为它将实现样本 xiDu ,ˆyiDu的最小损失。为了在不知道 wu 的情况下计算 ˆ yiDu 的值，他们引入了一种统计技术并计算了留一残差。与上述方法类似，这种方法只考虑了简单模型中的非学习过程。

信息泄露可能不仅体现在单个数据样本中，还可能体现在特征和标签组中 [53]。例如，用户的私人数据（如电话号码和居住地）会被数据提供商多次收集，并作为训练数据集的不同样本生成。因此，反学习操作也应侧重于反学习一组特征和相应的标签。

为了解决这些问题，Warnecke 等人[53]提出了一种用于反学习特征和标签的认证反学习方案。通过将样本对已训练模型的影响估计重新表述为一种反学习形式，他们得出了一种通用方法，可将训练数据集的回溯变化映射为模型参数的闭式更新。然后，他们针对两种不同类型的机器学习模型，提出了基于一阶梯度更新和二阶梯度更新的不同反学习方法。在一阶更新中，参数的更新基于原始样本和扰动样本的梯度差。对于二阶更新，他们根据文献[89]中提出的方案近似地计算了一个逆黑森矩阵，并根据这个近似矩阵更新了模型参数。通过扩展差分隐私[88]和认证反学习[41]的概念，也为特征和标签解除学习提供了理论保证。不过，这种解决方案只适用于从表格数据中解除特征学习，并没有为图像特征提供任何有效的解决方案。

2). Fisher unlearning method渔夫反学习方法

第二种模型转移技术是利用剩余数据集的渔夫信息 [90] 来解除对特定样本的学习，同时注入噪声以优化转移效果。Golatkar 等人[40]提出了一种权重擦除方法，以解除对特定类别整体或类别内样本子集的信息学习。他们首先根据库尔贝克-莱布勒（KL）发散和香农互信息，给出了一个可计算的上界，即在应用反学习程序后，反学习数据集所保留的信息量。然后，提出了一种基于牛顿更新的最优二次解学习算法和一种基于噪声牛顿更新的更稳健的反学习程序。这两种方案都能确保在反学习的同时，保持剩余样本的良好精度。然而，这种解除学习方案基于各种假设，限制了其适用性。

对于深度学习模型而言，从权重或权重分布的角度对可提取的信息进行限定通常比较复杂，而且可能限制性过强。深度网络在分布空间中有大量等效解，它们会在所有测试样本上提供相同的激活[43]。因此，许多方案都将反学习操作从关注权重转向关注最终激活。

与之前的工作不同，Golatkar 等人[43]提供了从最终激活中可以提取多少信息的界限。他们首先根据香农互信息将边界从权重角度转换为最终激活度，并利用反学习模型和再训练模型的最终激活度分布之间的 KL-发散提出了一个可计算的边界。受神经正切核（NTK）[91, 92]的启发，他们认为深度网络激活可以近似为权重的线性函数。因此，他们根据费雪（fisher）信息矩阵提供了最优的反学习程序。然而，由于深度神经网络的特殊结构，仅在最后激活层考虑反学习过程可能无法满足反学习的有效性。一旦攻击者在白盒场景中获得了所有模型参数，他们仍然可以从中间层推断出信息。

戈拉特卡等人。 [52]还提出了一种基于新的混合隐私训练过程的混合隐私取消学习方案。这种新的训练过程假设传统的训练数据集可以分为两部分：核心数据和用户数据。在核心数据上进行的模型训练是非凸的，然后利用用户数据进行基于二次损失函数的进一步训练，以满足特定用户任务的需求。基于这个假设，基于现有的二次取消学习方案可以很好地执行对用户数据的取消学习操作。最后，他们还得出了攻击者可以根据互信息从模型权重中提取的信息量的界限。然而，假设训练数据集分为两部分，并且模型在每个部分上使用不同的方法进行训练，这将反学习请求限制为仅那些易于忘记的数据，从而很难忘记数据的其他部分。

刘等人。 [93]通过提出一种分布式牛顿型模型更新算法来近似由局部优化器在剩余数据集上训练的损失函数，将反学习方法从集中式环境转移到联邦学习。该方法基于拟牛顿法并使用一阶泰勒展开。他们还使用对角经验费希尔信息矩阵（FIM）来高效、准确地近似逆 Hessian 向量，而不是直接计算它，以进一步降低再训练过程的成本。然而，这种解决方案在处理复杂模型时会导致精度显着降低。

（3）。其他转移方案

谢尔特等人。 [24]介绍了使训练有素的机器学习模型通过递减更新忘记数据的问题。他们描述了针对不同机器学习任务的三种递减更新算法。其中包括一种基于基于项目的协同过滤，另一种基于岭回归，最后一种基于 k-近邻。对于每种机器学习算法，都会保留中间结果，并根据中间结果和反学习数据 Du 更新模型参数，从而产生反学习模型。然而，该策略只能用于那些在反学习过程后可以直接计算以获得模型参数的模型，限制了该方案的适用性。

此外，格雷夫斯等人。 [45]还提出了一种激光聚焦删除敏感数据的方法，称为遗忘反学习。在训练期间，模型提供者保留一个变量，用于存储哪些样本出现在哪个批次中，以及每个批次的参数更新。当数据反学习请求到达时，模型所有者仅撤消包含敏感数据的批次的参数更新，即 Mwu = Mw − Í Δw，其中 Mw 是已训练的模型，Δw 是每个批次之后的参数更新。由于撤销某些参数可能会大大降低模型的性能，因此模型提供者可以在反学习操作后执行少量微调以恢复性能。这种方法需要存储大量的中间数据。随着存储间隔的减小，缓存的数据量会增加，较小的间隔会有更有效的模型遗忘。因此，该方法的效率和有效性之间存在权衡。

上述方法主要关注经验风险最小化的核心问题，其目标是在反学习样本后的剩余训练数据集上找到经验损失的近似最小化器[41, 51]。塞卡里等人。 [42]提出了一种更通用的方法来减少遗忘过程后未见样本的损失。他们通过使用基于训练期间一些易于存储的数据统计数据计算出的扰动更新，从已经训练的模型中删除一些样本的贡献，从而生成了一个反学习的模型。此外，他们提出了一个评估参数来衡量遗忘能力。他们还提高了凸损失函数的数据遗忘能力，在 d 对差分隐私的依赖性方面出现了二次改进，其中 d 是问题维度。

5.1.2 Verifiability of Schemes Based on Parameter Shifting.基于参数平移的方案的可验证性。

伊佐等人。 [51]提供了两个衡量有效性的指标：L2距离和特征注入测试。 L2距离衡量反学习模型和重新训练模型之间的距离。如果 L2 距离很小，则模型可以保证做出类似的预测，这可以减少基于输出的攻击（例如成员推理攻击）的影响。特征注入测试可以被认为是基于中毒攻击的验证方案。

戈拉特卡等人。 [40,43,52]根据准确性和重新学习时间验证其反学习方案的有效性。他们还开发了两个新的验证指标：模型置信度和信息界限[40]。模型置信度是通过测量剩余数据集、反学习数据集和测试数据集上输出预测的熵分布来制定的。然后，他们根据从未见过反学习数据集的训练模型的置信度来评估这些分布的相似性。相似度越高，遗忘过程的效果越好。信息绑定度量依赖于 KL 散度来衡量在反学习过程之后模型中关于反学习数据集的剩余信息。

与他们之前的工作不同，Golatkar 等人。 [43]还评估权重和激活中剩余的信息。在他们的其他工作[52]中，他们提供了一个新的度量——激活距离，来分析反学习模型和重新训练模型的最终激活之间的距离。这是与模型置信度类似的指标[40]。此外，他们还使用基于攻击的方法进行验证[43, 52]。

郭等人。 [41]，沃内克等人。 [53]和Sekhari等人。 [42]提供了一种理论验证方法来验证他们提出的反学习方案的有效性。基于经过认证的反学习提供的保证，它们限制了反学习模型和再训练模型之间的分布相似性。沃内克等人。 [53]还使用暴露度量[2]来测量遗忘后的剩余信息。刘等人。 [93]通过两个方面分析了遗忘方案的有效性。第一个指标对称绝对百分比误差 (SAPE) 是根据准确性创建的。第二个指标是反学习过程后模型的分布与再训练模型的分布之间的差异。

5.2 Manipulation Based on Model Pruning基于模型剪枝的操纵

5.2.1 Unlearning Schemes Based on Model Pruning.5.2.1 基于模型剪枝的忘却方案。

如图9所示，基于模型剪枝的方法通常会对训练好的模型进行剪枝，以产生能够满足遗忘要求的模型。它通常应用于联邦学习的场景，模型提供者可以修改模型的历史参数作为更新。联邦学习是一种分布式机器学习框架，可以跨多个分散节点训练统一的深度学习模型，其中每个节点都拥有自己的本地数据样本进行训练，并且这些样本永远不需要与任何其他节点交换[94]。联邦学习主要有三种类型：水平学习、垂直学习和迁移学习[95]。

基于用中央服务器的存储来换取反学习模型的构建的想法，Liu 等人。 [54]提出了一种高效的联合遗忘方法，FedEraser。在训练过程中，来自客户端的历史参数更新存储在中央服务器中，然后取消学习过程分四个步骤展开：（1）校准训练，（2）更新校准，（3）校准更新聚合，以及（4）更新unlearning模型，达到unlearning目的。在校准训练和更新校准步骤中，执行多轮校准再训练过程以在没有目标客户端的情况下近似反学习更新。在校准更新聚合和反学习模型更新步骤中，使用标准联邦学习聚合操作来聚合那些反学习更新并进一步更新全局模型。这消除了目标数据的影响。

然而，随着反学习请求数量的增加，该方案的有效性会急剧下降；这是因为梯度在训练阶段被缓存，并且反学习过程不会更新这些梯度以满足后续取消学习请求[54]。其次，该方案还需要缓存中间数据，这会消耗更多的存储空间。

受到以下观察的启发：不同通道对经过训练的 CNN 模型中的不同类别有不同的贡献。王等人。 [55]分析了联邦学习环境中选择性反学习类的问题。他们引入了术语频率-逆文档频率（TF-IDF）[96]的概念来量化通道的类别歧视。类似于分析单词与一组文档中的文档的相关性，他们将通道的输出视为单词，将类别的特征图视为文档。 TF-IDF 分数高的通道在目标类别中具有更强的辨别能力，因此需要进行修剪。还提供了通过通道修剪[97]的反学习过程，然后是微调过程以恢复修剪模型的性能。然而，在他们的取消学习方案中，在修剪与需要反学习的类相关的参数的同时，与其他类相关的参数也变得不完整，这将影响模型性能。因此，未学习的模型仅在微调训练过程完成后才可用。

5.2.2 Verifiability of Schemes based on Model Pruning. 基于模型剪枝的方案的可验证性。

刘等人。 [54]提出了一种基于成员推理攻击的实验验证方法。指定了两个评估参数：攻击精度和攻击召回率，其中攻击精度表示期望参与训练过程的反学习样本的比例。攻击召回率表示可以作为训练数据集的一部分正确推断的反学习样本的比例。此外，还提供了预测差异度量，用于衡量原始全局模型和反学习模型之间预测概率的差异。王等人。 [55]根据模型准确性评估可验证性。鲍姆豪尔等人。 [56]定义了基于贝叶斯误差率的散度度量，用于评估结果分布 P (Lseen ) 和 P (L-seed ) 的相似性，其中 Lseen 和 L-seed 是反学习模型的 pre-softmax 输出，经过重新训练的模型。当贝叶斯错误率的结果接近0时，表明P(Lseen)和P(L-seen)相似，并且遗忘过程已经从模型中遗忘了样本的信息。此外，他们还使用模型反转攻击来评估可验证性[6]。

5.3 Manipulation Based on Model Replacement 基于模型替换的操纵

5.3.1 Unlearning Schemes Based on Model Replacement.基于模型替换的遗忘方案。

如图10所示，基于模型替换的方法通常在训练过程中提前计算几乎所有可能的子模型，并将它们与部署的模型存储在一起。然后，当反学习请求到达时，仅需要用预先存储的子模型来替换受取消学习操作影响的子模型。此类解决方案通常适用于某些机器学习模型，例如基于树的模型。决策树是一种基于树的学习模型，其中每个叶节点代表一个预测值，每个内部节点是与属性和阈值相关联的决策节点。随机森林是一种集成决策树模型，旨在提高预测性能[98, 99]。

为了提高基于树的机器学习模型的反学习过程的效率，Schelter 等人。 [57]提出了Hedgecut，一种基于极端随机树（ERT）的分类模型[100]。首先，在训练过程中，根据提出的鲁棒性量化因子将树模型分为鲁棒分裂和非鲁棒分裂。鲁棒分裂表明子树的结构在忘记少量样本后不会改变，而对于非鲁棒分裂，结构可能会改变。在反学习训练样本的情况下，HedgeCut 不会修改鲁棒分割的节点，但会更新那些叶子统计数据。对于非鲁棒分割，HedgeCut 重新计算先前保持不活动的所维护的子树变体的分割标准，并选择一个子树变体作为当前模型的新非鲁棒分割。

对于基于树的模型，Brophy 等人。 [58]还提出了DaRE（启用数据删除）森林，这是一种随机森林变体，可以有效删除训练样本。 DaRE 主要基于仅根据需要重新训练子树的思想。在反学习过程之前，计算每个属性的大多数 k 个随机选择的阈值，并且预先将中间统计数据存储在每个节点内。这些信息足以重新计算每个阈值的分割标准，而无需迭代数据，这可以大大降低忘记学习数据集时重新计算的成本。他们还在每棵树的顶部引入了随机节点。直观上，靠近树顶部的节点比靠近底部的节点影响更多的样本，这使得在必要时重新训练它们的成本更高。随机节点最少依赖于数据的统计数据，而不是使用贪婪方法的方式，并且很少需要重新训练。因此，随机节点可以进一步提高遗忘的效率。

上述两种方案需要提前计算大量可能的树结构，这会消耗大量的存储资源[57, 58]。此外，这种替换方案很难应用于其他机器学习模型，例如深度学习模型，因为预先去除每个样本后很难实现部分模型结构。陈等人。 [59]提出了一种称为WGAN unlearning的机器去学习方案，它通过降低反学习样本的输出置信度来删除信息。机器学习模型通常对模型的输出具有不同的置信度[101]。为了降低置信度，WGAN 取消学习首先将生成器初始化为需要反学习数据的训练模型。然后，交替训练生成器和判别器，直到判别器无法区分反学习数据集和第三方数据之间模型的输出差异。在此之前，生成器就成为最终的反学习模型。然而，该方法通过交替训练过程来实现反学习过程，与从头开始重新训练的取消学习方法相比，带来的效率提升有限。

吴等人。 [60]提出了一种基于训练阶段缓存的中间参数的近似忘却方法，称为 DeltaGrad，它可以快速忘却基于梯度下降算法的机器学习模型中的信息。他们将反学习过程分为两个部分。其中一部分根据剩余的训练数据集精确计算完整梯度。另一部分使用 L-BGFS 算法 [102] 和一些先前迭代的更新集来计算近似真实 Hessian 向量的准 Hessian 矩阵。然后使用这些 QuasiHessians 来近似剩余过程中的更新。这两部分协同训练以生成反学习的模型。然而，在遗忘过程之后，这种方法会降低模型的性能，因为部分模型更新是基于近似方法计算的。另外，模型收敛所需的迭代次数也会增加，这会降低unlearning过程的效率。

5.3.2 Verifiability of Schemes Based on Model Replacement. 基于模型替换的方案的可验证性。

陈等人。 [59]使用成员推理攻击和基于假阴性率（FNR）的技术验证了他们提出的方案[103]，其中F N R：F N R = FN T P+F N ，T P 意味着成员推理攻击测试样本被认为是是训练数据集，F N 表示该数据被视为非训练数据。如果目标模型成功忘记了样本，则成员推理攻击会将训练数据集视为非训练数据。因此F N 会很大，而T P 会很小，相应的F N R 会很大。这间接反映了遗忘过程的有效性。谢尔特等人。 [57]，布罗菲等人。 [58] 和吴等人。 [60]仅提供运行时间和准确性方面的评估，并且没有为其忘却过程提供合理的实验或理论可验证性保证。

5.4 Summary of Model Manipulation模型操作总结

在最后几小节中，我们回顾了应用模型转换、模型剪枝和模型替换技术作为反学习过程的研究。表 7 显示了调查研究的摘要，其中列出了每篇论文之间的主要差异。

与基于数据重组的反学习方案相比，我们可以看到上述论文很少利用中间数据进行反学习。这是因为这些忘却方案的基本思想是直接操纵模型本身，而不是训练数据集。模型操作方法使用一系列技术计算每个样本的影响和影响的偏移量[38]，而数据重组方案通常重新组织训练数据集以简化遗忘过程。因此，模型操作方法在一定程度上减少了中间存储使用的资源消耗。

其次，上述方案大多关注相对简单的机器学习问题，例如线性逻辑回归，或具有特殊假设的复杂模型[40,41,43,51]。从标准卷积网络的权重中去除信息仍然是一个悬而未决的问题，一些初步结果仅适用于小规模问题。深度网络取消学习过程的主要挑战之一是如何估计给定训练样本对模型参数的影响。此外，CNN 的高度非凸损失使得分析这些对优化轨迹的影响变得非常困难。目前的研究主要集中在更简单的凸学习问题，例如线性或逻辑回归，理论分析是可行的。因此，评估特定样本对深度学习模型的影响并进一步提出这些模型的反学习方案是两个紧迫的研究问题。

此外，大多数基于模型操纵的方法都会影响原始模型的一致性或预测准确性。造成这个问题的主要原因有两个。首先，由于计算指定样本对模型影响的复杂性，基于不可靠的影响结果或假设来操纵模型参数将导致模型精度下降。其次，Wang等人的[55]方案对原始模型中的特定参数进行了剪枝，这也会由于缺乏一些模型预测信息而降低模型的准确性。因此，更有效的遗忘机制，既保证遗忘过程的有效性，又保证性能，值得研究。

值得指出的是，大多数方案都提供了合理的方法来评估遗忘过程的有效性。值得注意的是，模型操纵方法通常使用基于理论和基于信息界限的方法来提供可验证性保证[40,41,43]。与基于准确性、重新学习或攻击的简单验证方法相比，基于理论或信息界限的方法更加有效。这是因为简单的验证方法通常基于输出置信度来验证有效性。虽然要忘记的样本的影响可以从网络的输出中隐藏，但仍然可以通过深入探究其权重来收集见解。因此，在理论层面上计算并限制可能泄露的最大信息量将是一个更有说服力的方法。然而，总的来说，需要更多基于理论的技术来评估可验证性。

总之，基于模型转换的忘却方法通常旨在通过对训练过程做出某些假设（例如使用了哪些训练数据集或优化技术）来提供更高的效率。此外，那些对简单模型有效的机制（例如线性回归模型）在面对高级深度神经网络时会变得更加复杂。模型剪枝方案需要在遗忘过程中对模型的现有架构进行深远的修改[55, 56]，这可能会影响反学习模型的性能。值得注意的是，模型替换遗忘方法通常需要计算所有可能的参数并提前存储它们，因为它们通过使用这些预先计算的参数快速替换模型参数来进行遗忘。因此，更有效的消除学习方案，同时考虑模型可用性、存储成本和消除学习过程的适用性，是紧迫的研究问题。

6 OPEN QUESTIONS AND FUTURE DIRECTIONS

在本节中，我们将分析机器反学习的当前和潜在趋势，并总结我们的发现。此外，我们还确定了几个尚未解答的研究方向，可以通过这些方向来推进机器学习的基础并塑造人工智能的未来。

6.1 Open Questions

随着研究的不断发展，反学习可能会在以下领域进一步扩展，并且这种潜在趋势已经开始形成。

6.1.1 遗忘解决方案的普遍性。

需要探索兼容性更高的反学习方案。随着发展的进步，支持不同模型和反学习数据类型的机器反学习方案已经在各个领域提出。例如，张等人。 [63] 提供了图像检索中的反学习方案，而 Chen 等人。 [47]考虑了图遗忘问题。然而，目前大多数的反学习方案都仅限于特定场景。它们主要是为了利用特定学习过程或培训计划的特殊特征而设计的[24,47,54]。尽管为每个模型设计适当的遗忘方案是可行的，但这是一种低效的方法，需要许多手动干预[104, 105]。

因此，通用性反学习方案不仅应该适用于不同的模型结构和训练方法，还应该适用于不同类型的训练数据集，例如图形、图像、文本或音频数据。基于数据剪枝的方案是一种现有的有效方法，可以实现基于集成学习技术的通用性忘却目的[30]。但该方法在某些场景下破坏了相关关系，不适合需要相关信息才能完成训练的模型。

6.1.2 The security of machine unlearning.机器遗忘的安全性。

反学习方案应该确保任何数据的安全，特别是反学习数据集。最近，现有研究表明，反学习操作不仅没有降低用户隐私泄露的风险，反而增加了这种风险[106, 107]。这些攻击方案主要比较遗忘过程前后的模型。因此，成员推理攻击或中毒攻击将揭示有关反学习样本的大量详细信息 [78, 108]。为了抵消此类攻击，Neel 等人。 [50]在他们的反学习方案中提出了一种基于高斯扰动的保护方法。

此外，许多以前的反学习方案依赖于剩余的数据集、中间缓存模型的参数。然而，他们没有考虑该中间信息的安全性以及攻击是否会恢复有关反学习样本的任何信息[30, 57]。因此，进一步的反学习方案的设计需要考虑任何前后模型不应该暴露任何需要反学习的样本的信息。此外，遗忘过程中缓存的数据的安全性也需要探索。

6.1.3 The verification of machine unlearning.机器遗忘的验证。

验证方法应该易于实施并且适用于用户。当前大多数简单的验证方案，例如基于攻击、重新学习时间和准确性的验证方案[45, 52]，都是从现有的学习或攻击指标中得出的。这些片面的方法很少对遗忘过程的有效性提供强有力的验证[44,109,110]。同时，有理论保证的忘却方法通常基于丰富的假设，很少能应用于复杂的模型，因为复杂的深层模型通常会使这些假设无效[41, 53]。此外，这些验证方案并不用户友好且易于实施。

因此，验证方案应该考虑可行性和可接受性，即用户应该能够通过一些简单的操作来了解和验证自己的取消学习请求是否已经完成。已经有一些相关方案，例如[44]中基于后门的验证机制和[111]中基于加密的验证方案。然而这些方案对于普通用户来说还是有一定难度的。因此，一种易于实现且易于理解的验证方案是一个值得研究的课题。

6.1.4 The applications of machine unlearning.机器遗忘的应用。

在促进个人数据隐私的同时，机器反学习也逐渐成为其他应用的解决方案。法规和隐私问题导致需要允许经过训练的模型忘记一些训练数据。除此之外，还有其他几种场景，高效的机器取消学习将是有益的。例如，它可用于加速留一交叉验证的过程，消除对抗性或中毒样本，并识别模型中重要且有价值的数据样本[13]。截至目前，一些相关应用已经出现[53, 112]。例如，亚历山大等人。 [53]提出了一种可用于解决公平问题的特征学习方案。

同时，机器反学习方案也可以作为一种有效的攻击策略，增强模型的鲁棒性。需要考虑的一种潜在攻击场景如下：攻击者首先将预先设计的恶意样本引入数据集中，模型提供商随后使用这些样本来训练模型。之后，攻击者发起反学习请求，从模型中删除那些预先设计的样本的信息，这将影响模型的性能和公平性，或者说反学习效率[108]。因此，除了加强数据保护之外，机器反学习在其他领域也具有巨大潜力。

6.2 Future Directions

信息同步：与操作系统中的进程同步类似，机器反学习可能会产生信息同步问题[113, 114]。由于机器反学习通常计算成本很高，因此模型提供者可能无法立即完成反学习过程。在此期间，如何处理传入的预测请求值得仔细考虑。考虑到，如果在模型更新之前继续返回预测，则可能会泄露反学习的数据。然而，如果在遗忘过程完成之前所有预测请求都被拒绝，模型的实用性和服务标准肯定会受到影响。因此，如何处理这个区间内的预测请求需要综合考虑。

联邦取消学习：联邦学习是一种特殊的分布式学习，其特点是分布在不同地方的各种不稳定的用户，每个用户都可以控制自己的设备和数据[115, 116]。伊姆泰吉等人。 [95]表明模型提供者更有可能收到从联邦学习环境中训练的模型中删除特定样本的请求。例如，当用户退出协作训练过程时，他们可能要求从协作模型中删除他们的贡献。因此，考虑到联邦学习环境的局限性，如不可接受的训练数据、不稳定的连接等，如何在联邦学习环境中有效地实现机器反学习，是值得研究的[111]。

干扰技术：机器学习前后的隐私泄露问题，主要是由两种模型之间的差异引起的。一种可行的解决方案是干扰训练过程或调整模型参数，使模型与应有的不同。数据干扰技术能够干扰特定数据，同时确保整体数据可用性[117]。例如，郭等人。 [41]在训练时使用损失扰动技术[118]隐藏有关反学习样本的信息。该技术涉及通过随机线性项扰动经验风险。因此，未来研究的一个有用方向可能是将数据扰动纳入机器反学习问题中，并开发新的机制来支持更复杂的分析。

基于特征的反学习方法：基于模型转换的反学习通常通过计算对模型的影响来消除取消学习数据集的影响[40, 43]。然而，直接计算样本的影响可能过于复杂[38]。我们能否将影响力的计算从原始训练样本转移到一组特定特征上？当反学习请求到来时，可以根据特征而不是原始训练样本来计算影响力。可能与这个问题相关的技术包括特征提取[119]、特征生成[120]和特征选择[121]，它们可以集成到忘却操作中。

基于博弈论的平衡：博弈论一直是一个蓬勃发展的领域，在过去十年中出现了几种具有代表性的隐私保护技术[122]。有许多涉及基于博弈论的隐私保护解决方案的方案，这些方案权衡数据隐私和实用性问题[123, 124]。对于模型提供者来说，机器遗忘也是模型性能和用户隐私之间的权衡，过度的遗忘策略可能导致性能下降，而保护不足可能导致隐私泄露。我们能否将遗忘问题形式化为两个参与者之间的游戏：模型提供者和数据提供者？如果是这样，我们可以在这两个实体之间提供一个博弈模型，并确定一组策略和实用程序，以找出如何执行忘却操作，从而最大程度地保持模型的性能。这种方法还可以保护用户的敏感数据不被泄露。这些都是需要进一步探讨的悬而未决的问题。

7 CONCLUSION

机器学习方法已成为变革广泛应用的强大驱动力。然而，出于隐私、可用性或其他权利要求，他们也提出了从模型中删除训练样本的请求。机器取消学习是一种可以满足这些删除请求的新技术，并且在这方面已经开展了许多研究。在本次调查中，我们全面概述了机器反学习技术，特别关注两种主要类型的遗忘过程：数据重组和模型操纵。首先，我们提供了机器反学习的基本概念和不同目标。通过分析典型方法，我们提出了一种新的分类法并总结了它们的基本原理。我们还回顾了许多现有的研究，并讨论了每个类别中这些研究的优点和局限性。此外，我们强调了验证机器反学习过程的重要性，并回顾了验证机器取消学习的不同方法。最后，我们讨论了一些值得未来研究的问题，并提供了一些未来需要探索的可行方向。我们未来的工作将侧重于探索机器反学习在有趣领域的潜力，例如具有可验证性的联邦学习。