【论文笔记】Critified data removal from Machine Learning Models

[论文笔记]Critified data removal from Machine Learning Models

什么是critified removal?

a very strong theoretical guarantee that a model from which data is removed cannot be distinguished from a model that never observed the data to begin with.

一个非常有力的理论保证，即无法将删除数据的模型与从未观察过数据的模型区分开来。

如何理解critified removal 和 differential privacy 的区别？

it is straightforward to see that differential privacy of A is a sufficient condition for certified removal, viz., by setting removal mechanism M to the identity function.

很容易看出，A 的差分隐私是认证删除的充分条件，即通过将删除机制 M 设置为身份函数。

在论文的第二部分中，Certified Removal（认证移除）和Differential Privacy（差分隐私）是两个相关但有明显区别的概念。为了帮助你理解它们的不同，下面将逐步进行解释。

1. Certified Removal（认证移除）

Certified Removal 是指在不完全重新训练模型的情况下，从已训练的机器学习模型中移除某些训练样本，并且能够提供模型仍然稳定且性能不显著下降的数学保证。

• 核心目标：从模型中移除特定数据点，并确保移除后的模型仍然能够保持与移除前相似的性能。换句话说，认证移除关注的是如何在不完全重新训练模型的情况下，删除特定数据点，同时保持模型性能的稳定性和预测准确性。

• 关键点：认证移除提供的是对模型参数变化的数学保证，即确保在移除某些数据点后，模型的参数变化（调整）是可控的，进而对模型输出的影响也是可预测和有限的。

2. Differential Privacy（差分隐私）

Differential Privacy 是一种用于保护数据隐私的技术，确保在添加或移除某个数据点后，模型输出的变化微乎其微，从而防止通过模型推断出具体数据点的信息。

• 核心目标：保护个体数据隐私。即使攻击者知道几乎所有的数据，差分隐私也能确保无法准确推断出个体数据点的存在与否。

• 关键点：差分隐私通过向数据中添加随机噪声来隐藏个体数据点的影响，从而确保即使某个数据点被添加或移除，模型的输出差异仍然在一个可控的范围内。

二者的区别

• 目标不同：

  • 认证移除：关注的是在移除数据后，模型性能的稳定性和保证，即确保模型在数据移除后的表现仍然可靠。
  • 差分隐私：关注的是数据的隐私保护，防止从模型输出中推断出个体数据点的信息。

• 实现机制不同：

  • 认证移除：通过精确的数学方法来调整模型参数，使得在移除数据后，模型的性能受到最小的影响，并且这种影响是有数学证明的。
  • 差分隐私：通过在数据或模型输出中添加噪声来隐藏个体数据点的影响，从而保护隐私。

• 应用场景不同：

  • 认证移除：主要应用于当我们需要从训练好的模型中删除一些不再需要或不适合的数据时，尤其是在无法或不愿意重新训练整个模型的情况下。
  • 差分隐私：主要应用于需要保护数据隐私的场景，特别是在公开发布数据或允许其他方访问模型时。

总结

尽管 Certified Removal 和 Differential Privacy 都涉及数据点的添加或移除及其对模型的影响，但两者的出发点和目标是不同的。认证移除的重点在于移除数据后的模型性能稳定性，而差分隐私的重点则在于保护数据隐私。

The computational cost of the Newton update

• The computational cost of this Newton update is dominated by the cost of forming and inverting the Hessian matrix.

loss perturbation

We analyze how loss perturbation masks the information in the gradient residual ∇Lb(w−; D′) through randomness in b.

Theorem 2

解释总结：

• 微分隐私性：这个定理实际上是在陈述一个微分隐私性条件。微分隐私性的核心思想是：即使对数据进行了一定的扰动，算法输出的结果应该不会显著改变，这样可以保护数据隐私。
• 扰动机制：通过在模型中引入扰动 b\mathbf{b}b，即使移除或添加单个数据点，输出结果仍然会保持在一定的范围内变化，从而实现数据隐私保护。
• 不等式约束：这些不等式 e−ϵ≤⋅≤eϵe^{-\epsilon} \leq \cdot \leq e^{\epsilon}e−ϵ≤⋅≤eϵ 的存在，提供了一个量化的界限，表明即使数据进行了扰动，输出结果的概率密度变化也是在可接受的范围内的。

总结来说，这个定理为加入扰动后算法的输出结果提供了微分隐私性的保证，并量化了这种保证的强度。

Theorem 3

定理 3 (Theorem 3) 提供了对基于牛顿更新移除机制（Newton update removal mechanism）在特定扰动分布下的认证移除（certified removal, CR）保证。下面我将逐步解释定理中的内容：

定理 3 的逐步解释

1. 设定条件：
   • 设 ( A ) 是一个学习算法，该算法返回损失函数 ( L_b(w; \mathcal{D}) ) 的唯一最优解。
   • 设 ( M ) 是基于牛顿更新的移除机制（公式 3 提到的牛顿更新），即在样本被移除后，通过牛顿更新计算新的最优解。
   • 假设损失函数的梯度在移除样本后满足一个可计算的上界，即 ( |\nabla L(w^-; \mathcal{D’})|_2 \leq \epsilon’ )，其中 ( \epsilon’ > 0 )。
2. 定理的结论：
   • 结论 (i)：如果扰动 ( \mathbf{b} ) 来自于密度函数 ( p(\mathbf{b}) \propto e^{-\frac{\epsilon’}{\epsilon} |\mathbf{b}|_2} ) 的分布，那么移除机制 ( M ) 对算法 ( A ) 是 ( \epsilon )-认证移除的，即 ( M ) 是 ( \epsilon )-CR。
     • 解释：这里的 ( \epsilon )-认证移除意味着在这种扰动分布下，移除机制 ( M ) 在每次移除一个训练样本时，可以在 ( \epsilon ) 的范围内保持输出的稳定性。
   • 结论 (ii)：如果扰动 ( \mathbf{b} ) 服从正态分布 ( \mathcal{N}(0, c\epsilon’/\epsilon)^d ) 且 ( c > 0 )，那么移除机制 ( M ) 对算法 ( A ) 是 ( (\epsilon, \delta) )-认证移除的，其中 ( \delta = 1.5 \cdot e^{-c2/2} )。
     • 解释：在这种情况下，移除机制 ( M ) 对算法 ( A ) 是 ( (\epsilon, \delta) )-CR。这意味着在加入正态分布噪声的情况下，移除机制的稳定性在 ( \epsilon ) 和 ( \delta ) 的范围内。

关键点总结：

• 认证移除机制 (Certified Removal Mechanism)：定理提供了在不同的扰动分布下，移除机制 ( M ) 对算法 ( A ) 的认证移除保证。这个机制确保了在移除单个样本时，算法的输出结果不会发生显著变化，从而保证了某种程度的数据隐私。

• 扰动的分布：扰动 ( \mathbf{b} ) 的分布形式决定了移除机制 ( M ) 对算法 ( A ) 的认证程度。例如，当扰动服从指数衰减的分布时，( M ) 是 ( \epsilon )-认证的；而当扰动服从正态分布时，( M ) 是 ( (\epsilon, \delta) )-认证的。

• 梯度残差的约束：梯度残差的上界 ( \epsilon’ ) 是定理中重要的条件，它限制了在移除样本后的梯度变化，从而影响了扰动分布的选择和认证移除机制的性质。

总的来说，定理 3 通过数学公式，描述了在不同扰动分布下，如何保证通过牛顿更新的移除机制能够在移除训练样本后维持模型输出的稳定性。

Algorithm 1

这个算法是用于训练一个支持认证删除（Certified Removal）的模型。以下是对该算法的逐步解释：

算法目的

该算法旨在训练一个模型，使其能够在需要删除特定数据时，通过一种认证的方式确保删除的有效性。换句话说，删除后的模型应尽可能接近从未见过被删除数据的模型。

Algorithm 2

目的

该算法的目的是在多次删除数据批次的情况下，保证删除后的模型仍然满足“认证删除”的要求。如果删除后的模型变化超出一定范围，则需要重新训练模型。

Algorithm 2 , we use the data-dependent bound from Corollaries 1 and 2 to compute a per-data or per-batch estimate of the removal error, as opposed to the worst-case bound in Theorems 1 and 4. Figure 2 shows the value of different bounds as a function of the number of removed points. We consider two removal scenarios: single point removal and batch removal with batch size m = 10. We observe three phenomena: (1) The worst-case bounds (light blue and light green) are several orders of magnitude higher than the data-dependent bounds (dark blue and dark green), which means that the number of supported removals is several orders of magnitude higher when using the data-dependent bounds. (2) The cumulative sum of the gradient residual norm bounds is approximately linear for both the single and batch removal data-dependent bounds. (3) There remains a large gap between the data-dependent norm bounds and the true value of the gradient residual norm (dashed line), which suggests that the utility of our removal mechanism may be further improved via tighter analysis.

算法 2 中，我们使用推论 1 和 2 中的数据相关界限来计算每个数据或每个批次的去除误差估计值，而不是定理 1 和 4 中的最坏情况界限。图 2 显示了该值不同边界作为删除点数量的函数。我们考虑两种去除场景：单点去除和批次大小 m = 10 的批量去除。我们观察到三种现象：（1）最坏情况边界（浅蓝色和浅绿色）比数据相关边界高几个数量级边界（深蓝色和深绿色），这意味着使用数据相关边界时支持的删除数量要高出几个数量级。 (2) 对于单个和批量去除数据相关的边界，梯度残差范数边界的累积和近似线性。 （3）数据依赖的范数界限与梯度残差范数（虚线）的真实值之间仍然存在很大差距，这表明我们的去除机制的效用可以通过更严格的分析进一步提高。

---

grdient residual norm and removal difficulty

Conclusion

Our removal mechanism can be viewed on a spectrum of noise addition techniques for preserving data privacy, balancing between computation time for the removal mechanism and model utility.

我们的去除机制可以通过一系列噪声添加技术来看待，以保护数据隐私，平衡去除机制的计算时间和模型效用。

We have studied a mechanism that quickly “removes” data from a machine-learning model up to a differentially private guarantee: the model after removal is indistinguishable from a model that never saw the removed data to begin with.

我们研究了一种机制，可以快速从机器学习模型中“删除”数据，直至达到差分隐私保证：删除后的模型与从未见过删除数据的模型没有区别。

challenges:

While we demonstrate that this mechanism is practical in some settings, at least four challenges for future work remain. (1) The Newton update removal mechanism requires inverting the Hessian matrix, which may be problematic. Methods that approximate the Hessian with near-diagonal matrices may address this problem. (2) Removal from models with non-convex losses is unsupported; it may require local analysis of the loss surface to show that data points do not move the model out of a local optimum. (3) There remains a large gap between our data-dependent bound and the true gradient residual norm, necessitating a tighter analysis. (4) Some applications may require the development of alternative, less constraining notions of data removal.

虽然我们证明这种机制在某些情况下是实用的，但未来的工作至少仍然存在四个挑战。 (1)牛顿更新去除机制需要对Hessian矩阵求逆，这可能会出现问题。用近对角矩阵近似 Hessian 矩阵的方法可以解决这个问题。 (2) 不支持从具有非凸损失的模型中移除；可能需要对损失表面进行局部分析，以表明数据点不会使模型脱离局部最优。 (3)我们的数据相关界限和真实的梯度残差范数之间仍然存在很大差距，需要更严格的分析。 (4) 某些应用程序可能需要开发替代性的、限制较少的数据删除概念。

Q & A

什么是梯度残差范数（Gradient residual norm）？

梯度残差范数是移除某些数据点后，重新计算模型梯度与移除前模型梯度之间的差异。数值越大，表示模型需要的调整越多，反之亦然。

什么是feature extractor ?differentially private feature extractor?

什么是nearest-neightbour classifier?

这是对最近邻的思想的一个调整。其实我们在使用最近邻分类器分类，扫描CIFAR训练集的时候，会发现，有时候不一定距离最近的和当前图片是同类，但是最近的一些里有很多和当前图片是同类。所以我们自然而然想到，把最近邻扩展为最近的N个临近点，然后统计一下这些点的类目分布，取最多的那个类目作为自己的类别。

恩，这就是KNN的思想。

KNN其实是一种特别常用的分类算法。但是有个问题，我们的K值应该取多少呢。换句话说，我们找多少邻居来投票，比较靠谱呢？

什么是Hessian Matrix,以及它在牛顿法更新去除机制的作用

2. Hessian矩阵在优化中的作用

Hessian矩阵描述了目标函数在当前点的曲率信息。具体来说：

• 曲率信息：Hessian矩阵的正负号和大小可以描述目标函数是凸的、凹的还是鞍点（既有凸也有凹的方向）。
• 优化路径：Hessian矩阵决定了在二次近似下，如何沿着每个方向调整步长，最终找到局部最优解。

4. 在移除机制中的作用

在你提到的移除机制的公式中，Hessian矩阵 Hw∗H_{w^*}Hw∗ 的作用主要体现在以下几个方面：

• 精确调整：Hessian矩阵 Hw∗−1H_{w^*}{-1}Hw∗−1 的逆被用来调整梯度 Δ\DeltaΔ，以确保移除样本后的模型参数更新是最优的。这一调整确保了参数的更新不仅仅依赖于梯度的大小，还考虑了函数的曲率（即参数更新时的整体形状），从而避免了更新过程中的过大或过小调整。
• 二阶信息：相比于仅使用一阶导数（梯度）的更新方法，使用Hessian矩阵的更新方法引入了二阶信息，使得模型参数能够更准确地逼近新的最优解，即移除样本后的最优参数。
• Newton更新：这里的公式 w−=w∗+Hw∗−1Δw^- = w^* + H_{w^*}{-1} \Deltaw−=w∗+Hw∗−1Δ 实际上是一个一步的Newton更新，利用Hessian矩阵的信息，调整移除点对模型的影响，从而使模型参数快速收敛到移除样本后的最优点。

引入了二阶信息，使得模型参数能够更准确地逼近新的最优解，即移除样本后的最优参数。

• Newton更新：这里的公式 w−=w∗+Hw∗−1Δw^- = w^* + H_{w^*}{-1} \Deltaw−=w∗+Hw∗−1Δ 实际上是一个一步的Newton更新，利用Hessian矩阵的信息，调整移除点对模型的影响，从而使模型参数快速收敛到移除样本后的最优点。