隐私保护与生成模型: 差分隐私GAN的梯度脱敏方法

点击蓝字

关注我们

AI TIME欢迎每一位AI爱好者的加入！

大规模数据的收集和利用大幅提升了机器学习算法的性能，但同时也令个人隐私保护面临更大的风险与挑战。为此，我们提出一种满足差分隐私（Differential Privacy)的生成对抗网络（GAN) 训练方法，用于拟合高维数据分布、生成具有严格隐私保护的数据集。我们的框架适用于集成式（centralized) 和分布式/联邦式（decentralized/federated)环境。实验表明，我们的方法可以提高生成样本的准确性，并在多个指标（例如样品视觉质量，通信效率）取得了最优的性能。

陈丁凡：本科毕业于德国图宾根大学计算机系，现为德国CISPA亥姆霍兹信息安全中心的博士生，导师为Mario Fritz。主要研究方向为机器学习（差分）隐私，以及深度生成模型。

一、差分隐私是什么？

这篇文章以差分隐私和生成模型为主要研究对象，针对面临的问题，先介绍相关的背景知识和现有研究方法，后展示解决方案和实验结果。

机器学习模型的训练需要大量的数据喂食，而这些数据的应用就会涉及到个人隐私的问题。而随着数据规模越来越大，隐私问题也获得了更多的关注，而如何保护隐私也逐渐成为了比较热门的研究方向。一个直观的想法是能否利用生成模型来生成数据，既满足了隐私保障，不损害用户的个人隐私，也能满足模型训练对于数据规模的需求，还可以通过机器学习算法的验证。因此这篇文章的主要任务就是实现privacy preserving data generation，即隐私保护的数据生成，具体来说就是结合了差分隐私（differential privacy）和生成对抗网络（GAN），其中差分隐私可以提供严格的隐私保障，而GAN可以用于拟合数据分布，特别是拟合高维数据的数据分布。与传统的privacy preserving data generation方法需要对后续任务做假设相比，使用基于神经网络的生成模型可以避免对后续的任务做假设。鉴于传统方法往往只能处理简单的后续任务，使用GAN可以很好的避免这个局限。

综上所述，本文提出了一个满足差分隐私定义的生成模型训练方法，这个方法能够获得带有隐私保障的生成模型，进而获得生成数据。生成的数据可以用于后续的一系列操作和任务，例如训练机器学习模型，而且又不会损害个人隐私。

首先，我们来了解一下差分隐私的概念。差分隐私是目前机器学习领域用的最广