对自适应拉普拉斯机制的理解

Adaptive Laplace Mechanism: Differential Privacy Preservation in Deep Learning
对自适应拉普拉斯机制的理解
给定具有模型参数θ的损失函数F(θ)，通过在T随机训练批次上应用SGD算法来优化D上的损失函数F(θ)来训练网络。在每个训练步骤中，使用单个训练批次L。批次L是D中的随机训练样本集，具有预定义的批量大小| L |。

第一步：通过在数据库D上训练有素的深度神经网络上应用LRP算法来获得所有第j个输入特征的平均相关性，表示为Rj(D)。R j(D)计算如下：

然后，我们通过将拉普拉斯噪声注入Rj用于所有第j个输入特征来导出差分私有相关性，表示为Rj（上横线）。 此步骤中的总隐私预算为ε1。

第二步：得到一个差分隐私仿射变换层，表示为h0。给定批次L时，将自适应拉普拉斯噪声注入其仿射变换以保持差分隐私将扰乱每个隐藏神经元h0j∈h0。基于Rj，“更多噪声”被注入到与模型“不太相关”的特征中。输出，反之亦然。此步骤中使用的总隐私预算为ε2。扰动的仿射变换层表示为h0L(上横线)（图2）。

第三步：将隐藏层{h1，…，hk}堆叠在差异私有隐藏层h0L的顶部，以构建深层私有神经网络（图2）。 （h1，…，hk）的计算是基于不同的私有层h0L完成的，无需访问原始数据中的任何信息。 因此，计算不会泄露任何信息。 在每个堆叠操作之前，将标记化层（表示为h）应用于绑定的非线性激活函数，例如ReLU（图2）。
第四步：构建隐藏层的私有结构 {h0L（上横线），h1 , … ，hk}，我们需要保护输出层的标签yi。 为了实现这一点，我们推导出损失函数F的多项式近似。然后，我们通过将具有隐私预算ε3的拉普拉斯噪声注入其系数来扰乱损失函数F，以保持每个训练批次L上的差异隐私，表示为FL（θ）(上横线)。

最后，通过顺序地最小化T训练步骤上的损失函数FL（θ）（上横线）来导出参数θT。 在每个步骤t中，随机梯度下降（SGD）算法用于在给定D中的随机批次L训练样本的情况下更新参数θt。这基本上是优化过程，而不使用来自原始数据的任何附加信息。

在自适应拉普拉斯机制中，保持差异隐私，因为它在每个需要访问原始数据D的计算任务中强制执行。 拉普拉斯噪声仅被注入模型一次，作为预处理步骤，以在计算相关性Rj（D），第一层h0L（上横线）和损失函数FL（θ）（上横线）时保持差分隐私。 此后，训练阶段将不再访问原始数据。 隐私预算消耗不会在每个培训步骤中累积。 因此，它与训练时期的数量无关。