007 Rethinking Privacy Preserving Deep Learning: How to Evaluate and Thwart Privacy Attacks（秘密极化网络）

重新思考隐私保护的深度学习：如何评估和阻止隐私攻击

研究隐私保护深度学习（PPDL）机制对抗各种形式的隐私攻击的能力。——>提出了定量衡量 模型准确性 与 重构、跟踪和成员攻击导致的隐私损失 之间的协定——>提出了一种新的秘密极化网络（Secret Polarization Network，SPN）来阻止隐私攻击，比现有的PPDL方法更有竞争力。——>与基线机制相比，在数据隐私得到满意保护的情况下，模型精度平均提高了5-20%。

差分隐私由于其隐私保护的理论保障和较低的计算复杂度而备受关注——>过于保守的隐私保护常常会损害模型的效用（分类模型的准确性）——>即使截断大量梯度元素或添加较大的随机噪声，共享梯度的泄露可能允许某些情况下重构训练数据（低隐私预算值并不一定会带来理想的隐私保护水平）

①为了定量衡量对抗不同隐私攻击的隐私保护协议的能力——>遵循隐私对抗方法，关于被保护模型的精度，提出用三个客观的衡量标准来评估承认的隐私损失：重建、追溯、成员 损失——>为此，隐私保护特性（PPC）曲线被用来描绘协定（trade-off），用标准化的平均性能（CAP）来准确定量给出的隐私保护特性（PPC）曲线

 SPN（本文提出的秘密极化网络）、PPDL（隐私保护深度学习）、DP（差分隐私）方法对重构、成员、跟踪攻击的CAPs（标准化平均性能）比较（CAP越高越好）

②提出了一种新的秘密极化网络（Secret Polarization Network，SPN）和极化损失术语——>在串联公共骨干网络中带来了两个优势：①SPN通过在共享梯度中添加 秘密的、广泛元素的、自适应的梯度 来帮助击败隐私攻击②增加的极化损耗作为作为正则化项，不断提高联邦学习环境下基线网络的分类精度——>证明了在保证模型准确性的情况下，这种基于SPN的机制能够阻止重构、成员、跟踪攻击

已有研究：

①在深度训练神经网络过程中通过在共享梯度中添加高斯噪声来维护数据隐私②随机选择并共享一小部分梯度元素（具有较大的量级的）来减少隐私损失——>尽管提供了强大的差分隐私保证，实验研究表明，训练数据存在像素级重建和成员信息泄露的风险

③对数据库的隐私攻击（通过旨在破坏隐私的攻击策略的一系列恶意选择）④三种隐私攻击：重构、跟踪、再识别中，有害的重构攻击被表述为求解一个有噪声的线性方程组，重构误差本质上受查询答案的最坏情况精度的限制——>因为在DNNs（深度神经网络）的训练和推断中，对私人训练数据的查询没有明确回答

⑤在深度学习的背景下，成员攻击被证明 可识别的人脸图像可以从与预测一起揭示的置信值中被恢复⑥CNNs（卷积神经网络）和RNNs（循环神经网络）中周期性的梯度更新会泄露训练数据、特征、类成员的信息⑦基于激活函数是二次可微的假设，最近的攻击被提出来重建像素级精度的训练数据——>这些重构攻击对不同网络和数据集进行了广泛的实验，被采用来评估隐私保护策略的能力

⑧基于同态加密（HE）和基于安全多方计算（MPC）的隐私保护方法通过加密证明了强大的隐私保护，但往往会带来更高的计算和通信成本​​​​​​​