[学习笔记]梯度深度泄露DLG

1、论文翻译

在《More than Enough is Too Much: Adaptive Defenses against Gradient Leakage in Production Federated Learning》一文中作为前言出现，翻译如下：

证明共享梯度有泄露私人数据的潜力

 2、梯度深度泄露DLG

1）介绍：

是来自梯度的深度泄露：通过仅在同一神经网络上截取相应的梯度来完全重建本应是本地私有的训练集

是一种基于梯度的特征重建攻击，即攻击者在第t轮收到其他参与者k的梯度更新，并试图从共享的信息中窃取参与者k的训练集。

2）在图像中的算法：

1、步骤

        1、初始化具有与真实分辨率相同的虚拟图像，并且初始化一个具有概率表示的虚拟标签和softmax层；

        2、算法在中间本地模型上对这种攻击进行测试来计算虚拟梯度。

        3、构造优化目标：虚拟梯度和真实梯度间的梯度距离损失

                梯度距离损失对于虚拟输入和标签可到，优化方法需要二阶导

        4、关键在于迭代地优化虚拟图像和标签，来让攻击者的虚拟梯度逼近真实梯度

        5、直到梯度构造损失达到最小值，虚拟数据将以高置信度向训练数据收敛

注：所有的DLG攻击均始于随机的高斯噪声，并试图匹配虚拟数据和真实数据所产生的梯度，且使梯度最小化会慢慢减少数据之间的间隙，并使虚拟数据逐渐收敛到原始数据

2、DLG攻击的拓展

1、分类任务中标签信息的泄露：DLG攻击建立在梯度和训练数据存在一对一映射的假说上，如果DLG没有发现真实数据，则攻击无法收敛。因此提出一种从共享梯度中提取真实标签的解决方案。利用损失函数及其导数，通过观察可以直接得到真实标签。

2、梯度距离损失函数的选择：原始DLG算法中优化两个梯度之间的欧氏距离（差的平方），但在泄露过程中，梯度方向更重要，因此，基于余弦相似度

进行重构，并改变优化的目标，

 3、个人总结

首先构造虚拟的作为初始值，放入模型中得到对应的虚拟梯度，再选择合适的优化目标，使虚拟梯度经过迭代后尽可能与真实梯度接近。