DP-SGD

一、 DP

差分隐私（Differential Privacy，DP）针对数据库的隐私泄露问题提出的一种新型密码学手段。该机制是在源数据或计算结果上添加特定分布的噪音，确保各参与方无法通 过得到的数据分析出数据集中是否包含某一特定实体。差分隐私包括本地差分隐私和计算结果差分隐私。本地差分隐私指在汇聚和计算前数据就加入噪声，用于数据收集方不可信的场景；计算结果差分隐私是指最终计算结果发布前对其加噪声。

二、梯度

在机器学习过程中实现差分隐私的一种通用做法也是加噪声，即用噪声掩盖单个数据点的影响。机器学习的一般流程为：设计目标函数，然后训练过程一般是基于梯度的优化算法，最后输出训练好的模型。对应地，根据加噪声的时机，差分隐私机器学习（Differential Private Machine Learning) 有三种实现方法——目标扰动（Objective Perturbation），即在目标函数上添加噪声；梯度扰动（Gradient Perturbation, GP），即在梯度上添噪声；输出扰动（Output Perturbation），即在最后输出上添加噪声。不过若添加的噪声很大，会带来模型的性能损失，但太小又不能很好地保护隐私。因此，差分隐私机器学习可以研究如何在给定隐私损失的要求下，添加最少的噪声取得最好的性能。

梯度扰动是一种实现差分隐私机器学习的有效算法，梯度的值由训练样本计算而来，梯度包含了样本集上的信息，对梯度进行扰动就能保证后续更新参数值的操作不会泄露用户信息。差分隐私随机梯度下降法 (DP-SGD) 是深度学习中最流行的 DP 训练方法，