Removing Disparate Impact of Differentially Private Stochastic Gradient Descent on Model Accuracy

motivation：不合适的梯度剪切和随机噪声叠加影响不均衡数据中的少数代表和复杂的类和子群，从而导致效用损失的不平等。

methods：修改的DPSGD，称为DPSGD-F。为了实现各分组在效用损失相等的情况下实现差分隐私。它使用自适应裁剪来调整每个组的样本贡献，使每个组的隐私级别根据其隐私成本进行校准。因此，在DPSGD-F中，最终各组的效用损失是相同的。

传统的DPSGD步骤：梯度下降-根据阈值C裁剪clip-加噪声-反向传播

core：为了在神经网络的私有训练中减少噪声，DPSGD截断神经网络的梯度，以控制梯度和的灵敏度。

因为梯度的灵敏度和噪声的尺度将是不受限制的。为了解决这个问题，对用户贡献的最大大小采用了一个上限C(算法1中的第7行)。这将使我们的估计值产生偏差，但也减少了添加的噪声量，因为现在总和的灵敏度是C。

问题：如何选一个合适的阈值C？如何选择梯度范数的截断级别？（太高太低都不可以）

4 Disparate Impact on Model Accuracy：DPSGD如何造成效用损失的不平等

根据不平衡的MNIST数据集，对代表不足的子组的数据进行训练会产生更大的梯度，因此，剪切会降低它们的学习速度和它们的数据对模型的影响；随机噪声加法对未被充分表示的输入的影响最大。

图中可知，对于不均衡数据集，DPSGD只导致在代表性良好的类上的准确性下降- 0.0707，但在代表性不足的类上的准确性下降- 0.6807，表现出对代表性不足的类的不同影响。 此外，噪声(其大小类似于更新向量)的加入，阻止了未被充分表示的类的剪切梯度充分更新模型的相关部分。因此，DPSGD在不平衡的MNIST数据集上引入了对少数群体的负面歧视。

5 Removing Disparate Impact

我们的目标是建立一个学习算法，输出一个参数为w̃的神经网络分类器η̃(a;w̃)，以满意的效用实现差分隐私和效用损失相等。在对DPSGD中隐私代价进行初步观察和分析的基础上，我们提出了一种启发式去除算法，使每组的效用损失相等，称为DPSGD-F。

5.2 Removal Algorithm

我们提出了一种启发式方法，用于消除不同组之间的不同影响。我们的启发式方法的直觉是基于每个组的效用-隐私权衡来平衡每个组的隐私。（我们提出了一种自适应敏感剪切方法，使每一组k都有自己的剪切界Ck，而不是对所有组的梯度进行均匀剪切。）

我们需要调整裁剪界Ck，使每一组的贡献与其平均梯度的大小成比例（Line14） 

理想情况下，我们希望根据平均梯度范数的私有估计来调整裁剪界。然而，剪切前的原始梯度具有无限的灵敏度。要得到它的私有估计是不现实的。我们需要对相对于每组的平均梯度的相对大小建立一个良好的近似估计，它需要对私有估计有一个小的敏感性。

为了避免了群体样本量的影响，我们采用分数mk/Bk表示样本中梯度的比例大于C。mk/bk和m/b相对比率可以大约表示平均梯度的相对大小(第14行)。

集合{mk, ok}k∈[k]的灵敏度为1，在估计平均梯度的相对大小时，其灵敏度远远小于实际梯度的灵敏度。由于需要考虑总体中的最坏情况，因此总体的裁剪梯度的敏感性为maxkCk。

======================================================================

======================================================================

因此，当我们对具有不同样本容量的组强制执行相同水平的效用损失时，良好表示的组比不足表示的组获得更强的隐私(小于ε)。