【论文精读】Deep Learning with Differential Privacy（CCS 2016）

已于 2023-02-19 20:26:32 修改
阅读量946 收藏 11
点赞数 4
文章标签： 深度学习 人工智能 机器学习
于 2023-02-19 11:41:26 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43517939/article/details/129108783
版权
文章提出了一种基于差分隐私的训练算法，用于在保护敏感信息的前提下训练大规模神经网络模型。通过精细的隐私损失追踪和优化技术，该算法在保证低隐私预算、低软件复杂度和高训练效率的同时，维持模型性能。实验在MNIST和CIFAR-10数据集上验证了其有效性。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

原文链接：https://arxiv.org/pdf/1607.00133.pdf%20

一、文章概述

随着基于神经网络的机器学习技术的广泛应用，模型的训练越来越需要大规模的训练数据，这些数据可能是众包（crowdsourced）的并且包含敏感信息。为了使模型在不暴露数据集隐私信息的前提下进行训练，本论文提出了基于差分隐私的隐私保护训练算法，并对隐私损失（privacy costs）进行了定量分析。实验表明，所提算法能够在满足低隐私预算（privacy budget）、可控的软件复杂度成本、训练效率和模型性能情况下，训练非凸目标函数（non-convex objectives）的深度神经网络（参数量1w~1kw）。

二、主要贡献

  • 通过追踪隐私损失的详细信息（更高的矩（moments）），来获得更加严格的总体隐私损失估计。

  • 引入了一系列新技术来提高差分隐私训练计算效率，包括：

    • 高效计算单个训练样本的梯度
    • 将任务细分为较小的batch来减少内存占用
    • 在输入层采用差分隐私主元投影（principal projection）

  • 基于MNIST和CIFAR-10数据集进行实验，验证了所提方法能够在保证较低的软件复杂度成本、较高的训练效率和模型性能的前提下有效保护深度神经网络的数据隐私。

三、敌手假设

最低0.47元/天 解锁文章
Deep Learning with Differential Privacy论文阅读
2201_75402740的博客
09-07 1173
提到建立了一种可以实现差分隐私的框架，并对隐私成本进行了精细的分析。并提到了这个新算法颇有成效。提出了三个主要工作：第一点提到追踪隐私损失的详细信息能更准确地估计隐私损失，后续文章应该会提到如何追踪和追踪哪些详细信息2.第二点主要提到了将任务分为更多小的批次以减少memory footprint，后续应该会提到划分的方法，可以关注3.测试后发现有较好表现，可以在后续图像上观察到。
Deep Learning with Label Differential Privacy
daxuan1881的博客
05-11 889
motivation：数据集分为有（data,label），文章认为label是更为重要的，所以对于label进行隐私保护。 methods：通过随即响应RR将label随机化进行保护。 这篇文章认为数据集中输入标签Label是敏感的，而输入数据被认为不是敏感的，所以这篇文章只需要保护Label的隐私。 主要的创新点有两个，一个是提出了一个新的基于Label DP的多阶段深度学习算法，另一个是提出了一个带有先验知识Prior的经典随机响应算法。 多阶段的好处：1.先验概率越来越好2.数据集越来越多。
Deep Learning with Differential Privacy翻译
qq_42803125的博客
07-27 4935
正在读CCS上的“Deep Learning with Differential Privacy”，人工翻译了一下： Abstract 基于神经网络的机器学习技术已经在多个领域取得显著成就。通常来说，模型的训练需要大的、有代表性数据库，这些数据库可能是外包的，或者包含敏感信息。模型不能泄漏数据库中的隐私信息。为了达到这个目标，我们提出了新的学习算法技术和在差分隐私框架下隐私成本的改良分析。我们...
Repo:Deep Learning with Differential Privacy
weixin_40934268的博客
11-08 3094
翻译参考：https://blog.csdn.net/qq_42803125/article/details/81232037 >>>Introduction: 当前的神经网络存在的问题：数据集是众包（crowdsourced）的，并且可能含有敏感信息 (众包：一个广泛的未加定义的群体而不是一个特定的群体) in this paper:结合了机器学习与隐私保护机制，用一个...
差分隐私相关论文(2) —— Deep Learning with Differential Privacy, Abadi 2016
echoKangYL的博客
06-07 5287
对Abadi 2016年发表在安全顶会CCS上面的论文Deep Learning with Differential Privacy进行深入分析
CCS2016:Deep Learning with Differential Privacy
daxuan1881的博客
02-23 995
motivation：基于神经网络的机器学习技术需要大量且有代表性的训练数据，其中包含了许多敏感信息，所以为了解决这个问题，提出了一种学习算法技术和对差分隐私的隐私损失进行详细分析。 key sentence： 1.在本文中，我们将最先进的机器学习方法与先进的隐私保护机制相结合，在一个适度的（“个位数”）的隐私预算内训练神经网络。我们处理模型用具有非凸目标、几层、数层和数万到数百万参数的元素。 2.我们证明，通过跟踪隐私损失的详细信息（更高的时刻），我们可以获得更严格的对总体隐私损失的估计
【论文笔记】Deep Learning with Differential Privacy
weixin_42106022的博客
09-11 2955
【论文笔记】Deep Learning with Differential Privacy 原文：Deep Learning with Differential Privacy The Moments Accountant Moments Accountant 跟踪隐私损失随机变量的矩的界限。它推广了跟踪 (ε，δ) 的标准方法，并使用了 strong composition theorem。虽然这种改进以前用于组合高斯机制，但是我们表明它也适用于用随机采样的合成高斯机制，并且可以提供更严格隐私损失估计。{
Deep learning with differential privacy---PPT.pdf
05-08
深度学习与差分隐私是近年来在信息安全领域日益受到关注的两个重要话题。差分隐私是一种旨在提供强隐私保证的数据分析方法，而深度学习则是一种能够从数据中提取复杂特征和模式的机器学习技术。...
笔记：An adaptive federated learning scheme with differential privacy preserving
最新发布
fanlinl的博客
07-02 913
联邦学习的通信总成本与通信轮数、各参与方的通信消耗、合理学习率的设定以及计算公平性的保证有关。联邦学习框架中的隔离数据策略并不能完全保证用户的隐私安全。针对上述问题，文章提出了一种结合自适应梯度下降策略和差分隐私机制的联邦学习方案，适用于多方协同建模场景。为了适应超大规模分布式安全计算场景，文章引入差分隐私机制来抵御各种背景知识攻击。实验结果表明，在固定通信开销下，所提出的自适应联邦学习模型性能优于传统模型。这种新颖的建模方案对不同的超参数设置也具有较强的鲁棒性，为联邦学习过程提供了更强的可量化的隐私保护。
On Deep Learning with Label Differential Privacy 深度学习中的本地差分隐私技术的应用和改进
weixin_43641509的博客
11-15 5193
On Deep Learning with Label Differential Privacy 链接: (1) Ghazi, B.; Golowich, N.; Kumar, R.; Manurangsi, P.; Zhang, C. On Deep Learning with Label Differential Privacy. arXiv preprint arXiv:2102.06062 2021. . 这里写目录标题On Deep Learning with Label Differential
【CCS2016】Deep Learning with Differential Privacy
freya0112的博客
07-30 833
基于神经网络的机器学习技术在很多领域卓有成效。通常情况下，训练模型需要大型的、有代表性的数据集，这些数据集来自大众且包含敏感信息。这些模型需要不暴露数据集中的个人信息。为了达到这个目的，我们在差分隐私框架下提出了新的学习算法工具和对隐私预算的精细化分析。我们的实验证明，我们可以在适度的隐私预算下训练一个非凸目标的神经网络，并且在软件复杂度、训练效率、模型质量上具有可控的成本。...
Deep Learning with Differential Privacy
qq_43124815的博客
09-16 317
论文也指出，DP-SGD需要更多的数据和更长的训练时间，因为添加的噪声会降低模型的学习效率。另外，选择合适的噪声级别也是一个挑战，因为噪声级别对模型的性能和隐私保护效果都有影响。根据论文的实验结果，DP-SGD在保护隐私的同时，能够达到与普通SGD相近的模型性能。在DP-SGD中，首先对一批数据计算梯度，然后对梯度添加噪声，最后使用这个添加了噪声的梯度来更新模型的参数。这个公式表明，在每个时间步，模型的参数会向损失函数梯度的反方向移动一小步，同时添加一些噪声。) 是均值为0，协方差为。是一批数据，N(0,
【论文记录】Deep Learning with Differential Privacy
Leo
01-23 3037
标题
Deep Learning with Differential Privacy论文阅读笔记
SXxtyz的博客
03-17 2940
摘要 以神经网络为基础的机器学习在大量的领域取得了卓越的成就。通常来讲，模型训练需要大量典型的数据集，它们可能是外包的并且包含一些敏感信息。模型不该在这些数据集中暴露隐私。为了解决这一目标，我们提出了新的算法进行学习，以及差分隐私框架下隐私成本的改良分析。我们的实验证明我们可以使用非凸目标训练深度神经网络，在中等的隐私预算、可控的软件复杂度成本、训练效率和模型质量条件下。 我们综合当前最新的机器学习方法和改进的隐私保护机制，在中等隐私条件下训练神经网络模型。我们训练模型使用非凸目标、多个层次、上万个参数。
第十九周工作进展报告 Local Differential Privacy for Deep Learning
三金samkam的博客
01-30 1364
第十九周工作进展报告 本周主要是学习联邦学习与隐私保护中的一种用于深度学习框架下的本地差分隐私方法以及一种SGD-DP（stochastic gradient descent differential privacy）算法。 “Local Differential Privacy for Deep Learning”文中预备知识介绍： 1）隐私预算（privacy budget）/隐私损失（privacy loss）：ε 2）错误概率（probability of error）/失败概率（proba
差分隐私论文阅读笔记
RouTine
03-14 2192
目录前缀基础知识论文笔记Deep Learning with Differential Privacy - CCS'16Differentially Private Distributed Online Learning - TKDE'18Differentially Private Empirical Risk Minimization Revisited _ Faster and More General - NIPS'17Differentially Private Learning with Ker
对模型进行DP处理（DP-SGD+DP-Logits）
热门推荐
学渣的博客
10-14 2万+
该技术来源于论文： Deep Learning with Differential Privacy 讲述了如何在模型训练期间，通过修改损失函数，使训练后的模型具有一定抵御的DP的能力。 原论文很长很复杂，本博客不讲原理，直接复现。 参照https://github.com/pytorch/opacus/blob/main/tutorials/building_image_classifier.ipynb 进行讲解。 安装依赖包 需要用到 opacus 、 tqdm 包，用 pip 安装就好了。 1 确定超参
cef 最小化在哪实现_满足差分隐私的经验误差最小化方法
weixin_39604045的博客
11-27 323
手上的东西有点进行不下去，滚过来写专栏作下回顾。上次聊了聊差分隐私的定义，那么现在我们要在差分隐私的框架上实现机器学习任务。关于差分隐私机器学习这个方向，Kamalika Chaudhuri 在nips17上有一个tutorial 《Differentially Private Machine Learning: Theory, Algorithms, and Applications》，比较全面...
【译】Privacy and machine learning: two unexpected allies
omnispace的博客
06-14 759
在机器学习的许多应用中，例如用于医疗诊断的机器学习，我们希望具有机器学习算法，其不记住关于训练集的敏感信息，诸如个体患者的特定医疗历史。 差分隐私是衡量算法提供的隐私保证的框架。 通过差异隐私的镜头，我们可以设计机器学习算法，负责在私人数据上训练模型。 我们的作品（包括MartínAbadi，ÚlfarErlingsson，Ilya Mironov，Ananth Raghunathan，Shua...
a deep learning library for solving differential equations
12-21
我们知道，微分方程在科学和工程领域中起着重要作用。而深度学习是一种有效的人工智能技术，可用于处理复杂的模式识别和预测任务。因此，设计一个用于解决微分方程的深度学习库将为科学家和工程师提供一个功能强大的工具。 首先，这个深度学习库将包括一个广泛的微分方程求解器，涵盖了常微分方程、偏微分方程和微分代数方程等各种类型。同时，该库还将提供丰富的神经网络模型，用于逼近微分方程的解，并具有高度的灵活性和可扩展性。 其次，这个库将允许用户灵活地定义自己的微分方程模型和损失函数，以适应不同领域的需求。同时，库中还将包括各种优化算法和调参技巧，帮助用户有效地训练模型并获得准确的解。 此外，这个库还将提供丰富的可视化工具，帮助用户直观地理解微分方程的解和模型的学习过程。 总之，设计一个用于解决微分方程的深度学习库将为科学家和工程师们提供一个强大的工具，帮助他们更高效地解决实际问题，推动科学和工程的发展。
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值