差异私有联邦学习：客户端级别

Differentially Private Federated Learning: A Client Level Perspective

本文发表于 NIPS 2017 会议

当一个模型以传统的方式学习时，它的参数揭示了关于训练期间使用的数据的信息。为了解决这一问题，提出了学习算法的差分隐私(dp)的概念。这样做的目的是确保学习的模型不会泄露在训练过程中是否使用了某个数据点。我们提出了一种将dp保持机制整合到联邦学习中的算法。然而，我们的目标不是只保护的单个数据点。我们希望确保学习的模型不会显示客户端是否参与了分散训练。这意味着客户机的整个数据集受到保护，以防止来自其他客户机的不同攻击。

而作者的贡献在于证明了我们提出的算法可以在模型性能损失很小的情况下实现客户端级别的差异隐私。其次，我们提出在分散训练过程中动态调整dp保持机制。实证研究表明，这样可以提高模型的性能。

1. 差分隐私的定义：

图片中的差分隐私定义为一个随机化机制
$$M:D\to R，其中D表示输入数据集的域，R是输出范围。这个机制满足ϵ,\delta -差分隐私（DP），$$
$$如果对于任意相邻的输入d和d^{\prime }（它们的差异仅为一个数据点），以及任意输出集合S\subseteq R我们有：$$

$$P[M(d)\in S]\le e^{ϵ}P[M(d^{\prime })\in S]+\delta$$
其中：

• $$ϵ：隐私预算，衡量隐私损失的大小。值越小，隐私保护越好。$$
• $$\delta ：用于允许某些概率上的泄漏，通常是一个很小的值。当隐私机制稍微违反ϵ-DP时，\delta 可以给出一个概率界限。$$

这个定义表明，机制 ( M ) 对于相邻输入 ( d ) 和 ( d’ ) 产生的输出差异在一定程度上是有限的，从而保证了输入数据的隐私性。

2. 高斯机制（Gaussian Mechanism, GM）的解释：

$$高斯机制用于通过添加噪声来保护隐私。它针对实值函数f:D\to R进行差分隐私处理。高斯机制通过加入根据数据集的敏感度S_f校准的高斯噪声来保护隐私。$$

公式：

$$M(d)=f(d)+\mathcal{N}(0,{\sigma }^2{S}_f^2)$$

解释：

• $$f(d)：对数据d的函数值输出。$$

• $$\mathcal{N}(0,{\sigma }^2{S}_f^2)：高斯噪声，均值为0，方差为{\sigma }^2{S}_f^2。$$

  $$S_f：函数f的敏感度，定义为相邻输入数据集d和d^{\prime }之间的最大输出差异：$$

  $$S_f=\underset{d,d^{\prime }}{\max }\Vert f(d)-f(d^{\prime })\Vert 这意味着S_f衡量了相邻输入在输出上可能产生的最大变化，确保差分隐私的保护强度。$$

高斯噪声：

$$噪声的大小由S_f和$$