【论文阅读】The Secret Revealer: Generative Model-Inversion Attacks Against Deep Neural Networks模型反转攻击

最近要看一些推理攻击的内容，把看过的都放过来吧
The Secret Revealer: Generative Model-Inversion Attacks Against Deep Neural Networks
深度神经网络的生成模型反转攻击
CVPR 2020

---

一、论文信息

1. 题目

The Secret Revealer: Generative Model-Inversion Attacks Against Deep Neural Networks
揭秘：针对深度神经网络的生成模型反转攻击

2. 作者

Yuheng Zhang , Ruoxi Jia , Hengzhi Pei1, Wenxiao Wang, Bo Li, Dawn Song
复旦大学，加州大学伯克利分校，清华大学

3. 期刊年限

• CVPR
• TOP
• 2020年

4. 关键词

model-inversion, GAN

二、背景

1. 生成的模型可能会通过其输出（即黑盒攻击）或参数（即白盒攻击）无意中泄漏有关训练数据的信息
2. 隐私攻击的一个具体例子是模型反转（MI）攻击，其目的是通过利用训练数据与模型输出的相关性来重建训练数据的敏感特征
3. 是否有可能对 DNN 发起攻击并重建其私有训练数据仍然是一个悬而未决的问题：
   • 对DNN来说，即使只有一个隐藏层，相应的攻击优化也变成了一个非凸问题
   • 通过梯度下降方法很容易陷入局部极小值，从而导致攻击性能不佳
   • 此外，在目标模型为DNN的攻击场景中（例如，攻击人脸识别模型），要恢复的敏感特征（人脸图像）往往位于高维、连续的数据空间中，在没有任何约束的情况下直接在高维空间上进行优化可能会生成缺乏语义信息的不切实际的特征
4. 上述应对方法都有或多或少的缺点，基于此进行改进

三、创新

• 提出了一种简单而有效的攻击方法，称为生成模型反转（GMI）攻击，它可以反转 DNN 并合成高保真度的私人训练数据

1. 使用生成模型从公共数据集中学习信息先验，以规范不适定反演问题。
2. 提出了一种基于GAN的端到端GMI攻击算法
3. 揭示了模型的预测能力与其对一般 MI 攻击的敏感性间的基本联系
4. 差分隐私的方法无法抵御攻击

四、方法

4.1 威胁模型

• 将受到攻击的模型称为目标网络。 重点关注白盒设置，假设对手有权访问目标网络并采用某种推理技术来发现与特定标签关联的特征 。 对手还可能获得一些有助于他/她推理的辅助知识。目标是根据目标分类器参数恢复某些特定身份的人脸图像
  • 可能的辅助知识 可以是仅包含非敏感信息的损坏图像，例如面部图像中的背景像素或模糊图像，因为模糊和腐败通常用于保护公共数据集中个人的匿名性这种辅助知识可能很容易获得 有先验
  • 与图像修复的连接 利用了图像修复工作中的一些训练策略，并显着提高了重建图像的真实感 是否可以稍微修复一下数据呢

4.2 推断缺失的敏感特征

• 利用生成对抗网络(GAN)来重建图像中缺失的敏感区域，使用了使用公开数据进行训练的生成器G和判别器D，找到一个潜在向量ẑ,使其在目标网络下具有最高的似然概率，以补充敏感地方，优化了LOSS函数
  • 知识蒸馏：我们在公开数据集上训练生成器G和判别器D,鼓励生成器生成逼真的图像，使用的公开数据集可以是无标签的,并且与私有数据集没有身份重叠
  • 秘密揭示: 利用第一阶段训练得到的生成器G,解决一个优化问题,从而恢复图像中缺失或敏感的区域

五、实验部分

5.1 数据集

MNIST、ChestX-ray8、CelebA

5.2 评定指标

• Peak Signal-to-Noise Ratio (PSNR)（图像）
• Attack Accuracy (Attack Acc)
• Feature Distance (Feat Dist)
• K-最近邻距离（KNN Dist）

5.3 和MI有关的实验

1. 将每个数据集分成两个不相交的部分：一部分用作训练目标网络的私有数据集，另一部分用作先验知识提取的公共数据集
2. 评估MI攻击的成功需要评估恢复的映像是否暴露了有关目标标签的私有信息