差分隐私中的噪声添加

在差分隐私中，噪声添加的具体方式通常取决于所使用的差分隐私机制。常见的噪声添加机制包括拉普拉斯机制和高斯机制。

1. 拉普拉斯机制（Laplace Mechanism）

拉普拉斯机制常用于实现 $ϵ$-差分隐私。对于一个函数 $f$ 计算的结果，添加的噪声服从拉普拉斯分布，其标准差与隐私预算 $ϵ$ 和函数的敏感度 $\Delta f$ 有关。

噪声的大小由以下公式确定：

$\text{Noise}\sim \text{Laplace}\left(0,\frac{\Delta f}{ϵ}\right)$

2. 高斯机制（Gaussian Mechanism）

高斯机制通常用于$(ϵ,\delta )$-差分隐私。在这种机制下，添加的噪声服从高斯分布，其标准差与隐私预算$(ϵ,\delta )$ 以及函数的敏感度 $\Delta f$ 有关。

噪声的大小由以下公式确定：

$\text{Noise}\sim \mathcal{N}\left(0,{\sigma }^2\right)$

其中，$\sigma$ 是一个参数，通常根据高级组合定理确定，以确保整个过程满足 $(ϵ,\delta )$-差分隐私。

2.1. 高斯机制中的标准差计算

对于一个函数 $f$，高斯机制通过向其输出添加高斯噪声来实现隐私保护。添加的噪声服从均值为零、标准差为 $\sigma$ 的高斯分布，即：

$\text{Noise}\sim \mathcal{N}(0,{\sigma }^2)$

标准差 $\sigma$ 的计算公式如下：

$\sigma =\frac{\Delta f\sqrt{2\ln (1.25/\delta )}}{ϵ}$

这里的参数解释如下：

• $\Delta f$ 是函数 $f$ 的敏感度，表示相邻数据集的函数值的最大变化。对于 $f$ 是实值函数的情况，敏感度定义为：

  $\Delta f={\max }_{D,D^{\prime }}\Vert f(D)-f(D^{\prime })\Vert$

  其中 $D$ 和 $D^{\prime }$ 是相邻数据集。

• $ϵ$ 是隐私预算，控制隐私保护的强度。较小的 $ϵ$ 表示更强的隐私保护。

• $\delta$ 是一个非常小的正值，表示在 $ϵ$ 隐私预算不足时，机制可能违反差分隐私定义的概率。

2.2. 理论推导

为了理解这个公式的来源，可以简要介绍其背后的理论推导。高斯机制的噪声标准差是通过满足以下两个条件来确定的：

1. $ϵ$-差分隐私条件：在高斯机制中，需要确保两个相邻数据集的输出分布的累积概率密度函数之比被限制在 $ϵ$ 的范围内。
2. $\delta$ 的调整：因为高斯分布的尾部是无限的，因此在某些情况下，隐私泄露的风险不能完全被控制在 $ϵ$ 范围内。这时引入 $\delta$ 来量化这种罕见事件的概率。

通过这两个条件的结合，标准差 $\sigma$ 被确定为上面的公式。

2.3. 实际应用中的计算

假设我们有一个函数 $f$，其敏感度 $\Delta f=1$。我们希望通过高斯机制实现 $(ϵ,\delta )$-差分隐私。设定 $ϵ=1.0$，$\delta =10^{-5}$，则噪声的标准差 $\sigma$ 计算如下：

$\sigma =\frac{\Delta f\sqrt{2\ln (1.25/\delta )}}{ϵ}$

1. 计算 $\ln (1.25/\delta )$:

$\ln (1.25/10^{-5})=\ln (1.25\times 10^5)\approx \ln (125000)\approx 11.736$

2. 代入公式计算$\sigma$:

$\sigma =\frac{1\times \sqrt{2\times 11.736}}{1.0}=\sqrt{23.472}\approx 4.84$

因此，添加的高斯噪声的标准差为 $\sigma \approx 4.84$。

2.4. 高斯机制的特点

高斯机制在实际应用中的一个重要优势是其灵活性，尤其适用于具有较高敏感度的数据或函数。此外，通过合理选择 $ϵ$ 和 $\delta$，可以在隐私保护和数据实用性之间取得平衡。

总结

在差分隐私的训练过程中，噪声的添加是根据隐私预算进行的。通过合理分配隐私预算 $ϵ$ 到每次迭代，并在每次迭代中添加适当的噪声，可以在保护数据隐私的同时，确保模型训练的有效性。这种方法平衡了数据隐私和模型性能，确保总隐私损失在可接受的范围内。

高斯机制（Gaussian Mechanism）是一种常用于实现 $(ϵ,\delta )$-差分隐私的技术。它通过向计算结果添加服从高斯分布的噪声来保护隐私。为了确保机制满足 $(ϵ,\delta )$-差分隐私，噪声的标准差 $\sigma$ 需要根据隐私预算 $ϵ、\delta$ 以及函数的敏感度$\Delta f$ 来确定。