![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
差分隐私
文章平均质量分 73
XueDaxuan
这个作者很懒,什么都没留下…
展开
-
Learning Rate Adaptation for Differentially Private Learning
中间定理7是MA的组合定理,是说隐私损失的总矩是小于等于各个机制之和的矩,因为算法G1和G2都是独立的,所以有了定理9,根据定理9,相同的参数值q,σ和C,算法2运行的迭代次数是DP-SGD的一半。并且通过MA说明了该算法的优点。最右边是ADADP算法,可以看到他和DPSGD不同的是,DPSGD是把数据划分为固定大小的批次,ADADP算法是在每一轮需要迭代两个小批次,用于分别计算G1和G2,因此需要迭代N/2B次,最后通过判断条件去改变模型的学习率。原创 2022-09-20 19:38:14 · 331 阅读 · 1 评论 -
LEARNING DIFFERENTIALLY PRIVATE RECURRENT LANGUAGE MODELS
为了在Bert模型获得差分隐私,也是利用了最简单的组合定理。第一篇文章将差分隐私应用在了大型的循环神经网络模型当中,保护LSTM语言模型的敏感信息,在联邦场景下下,添加用户级别的差分隐私,应用到下一个单词的预测中。从现在看来这篇文章的技术点其实很简单,但是之前把差分隐私和NLP结合起来的文章,隐私预算都是大于3的,这篇文章基于Bert模型,采用医学数据集MIMIC对模型进行修正,进行并行计算和较大的batchsize将隐私预算缩减至1,并且还能达到比较好的一个性能,这个就是文章最大的贡献。...原创 2022-07-28 13:42:39 · 741 阅读 · 1 评论 -
AdaCliP: Adaptive Clipping for Private SGD
motivation:相比DPSGD,同样的隐私保证下能够添加更小的噪声。methods:非凸函数下,通过梯度转换,限制方差,最终得到小噪声。重要知识点:提供隐私保护近似的一种常见技术是限制函数的灵敏度,并添加与灵敏度界成比例的高斯噪声。为此,我们需要在每一轮SGD中限制梯度的灵敏度。这可以通过几种方式实现。如果损失函数是可微的(如果不可微则使用子梯度),并且有Lipschitz界,[16]用Lipschitz界对梯度范数设界,并利用它推导梯度的灵敏度。如果损失函数的导数作为输入的函数有界(例如,在逻辑回归原创 2022-07-12 10:03:02 · 443 阅读 · 0 评论 -
高斯差分隐私
这篇文章的背景是说在深度学习下的隐私保护中,差分隐私在组合和采样等方面存在隐私退化问题,从而对训练神经网络进行隐私分析变得十分复杂。所以文章提出一种新的定义叫做f-DP,用于对训练神经网络进行细化的隐私分析。并且利用f-DP的组合和采样属性推导出SGD和Adam优化算法的隐私保证的表达式。在DP中,我们用概率分布来确定样本是否在两个数据集中,如果背景知识强大的攻击者不能够区分样本来自哪个数据集,那么证明这个随机算法是好的。那么从统计学假设检验的角度来看的话,我们可以把问题等价成,原假设H0和备择假设H1。将原创 2022-07-11 08:41:53 · 1487 阅读 · 1 评论 -
DPNAS: Neural Architecture Search for Deep Learning with Differential Privacy
motivation:训练深度神经网络(DNNs)来实现有意义的差分隐私(DP)保证会严重降低模型的实用性。我们证明了dnn的架构在私人深度学习的背景下对模型效用有显著的影响,而其影响在以前的研究中基本上未被探索。鉴于这一缺失,我们提出了第一个框架,使用神经体系结构搜索来自动设计私有深度学习的模型,被称为DPNAS。methods:Based on our formulation, the design of our DPNAS framework includes three parts, which a原创 2022-06-05 16:59:33 · 301 阅读 · 0 评论 -
Differentially Private Learning with Adaptive Clipping
motivation:这篇文章是在模型训练阶段添加满足DP的噪声从而达到隐私保护的目的,在之前读的论文中,不同的数据集大小,优化器,激活函数的不同都会影响整个模型的性能。看的比较多的就是在裁剪阈值C上进行优化,过大过小都不利于模型训练,所以需要找一个合适的阈值C。在联邦学习(FL)设置中,使用用户级差分隐私(例如DP联邦平均)训练神经网络的现有方法涉及到通过将每个用户的模型更新裁剪为某个常数值来限制其贡献。method:基于这样的前提,文章提出了一种分位数的思想,用分位数去找一个合适的裁剪临界值。左原创 2022-05-17 11:26:40 · 788 阅读 · 2 评论 -
Deep Learning with Label Differential Privacy
motivation:数据集分为有(data,label),文章认为label是更为重要的,所以对于label进行隐私保护。methods:通过随即响应RR将label随机化进行保护。这篇文章认为数据集中输入标签Label是敏感的,而输入数据被认为不是敏感的,所以这篇文章只需要保护Label的隐私。主要的创新点有两个,一个是提出了一个新的基于Label DP的多阶段深度学习算法,另一个是提出了一个带有先验知识Prior的经典随机响应算法。多阶段的好处:1.先验概率越来越好2.数据集越来越多。原创 2022-05-11 21:19:03 · 747 阅读 · 0 评论 -
Local Differential Privacy for Deep Learning
【论文学习3】Local Differential Privacy for Deep Learning - 20189223 - 博客园Local Differential Privacy for Deep Learning 0.ABSTRACT 物联网平台创新包括边缘云交互中的 软件定义网络(SDN) 和 网络功能虚拟化(NFV) https://www.cnblogs.com/20189223cjt/p/12444654.htmlmotivation:众包数据进行训练过程中,容易造成隐私泄漏。met原创 2022-05-06 16:53:59 · 639 阅读 · 1 评论 -
Differentially Private Deep Learning with Iterative Gradient Descent Optimization
motivation:梯度下降中不均衡的敏感度;不够紧的隐私界限。methods:新的扰动梯度下降优化算法PIGDO,并证明该算法满足差分隐私;提出一种改进的MMA方法来进行隐私分析,与原始moment account方法相比,获得了更紧密的隐私损失约束。1.本文提出了一种新的扰动迭代梯度下降优化(PIGDO)算法,该算法将梯度下降算法作为一个迭代分量,然后对迭代GDO计算的梯度进行梯度扰动,满足差分隐私。与之前针对每个梯度设计的噪声加法机制相比,我们的算法改进 从整体的角度验证了梯度的准确性,从而原创 2022-04-27 15:21:18 · 493 阅读 · 0 评论 -
An Adaptive and Fast Convergent Approach toDifferentially Private Deep Learning
motivation:第一DP会降低模型的性能,第二个就是梯度对训练数据具有不均匀敏感性。因为敏感性的不均衡会导致在隐私保护中对于敏感度低的梯度添加大噪声,敏感度高的梯度添加小噪声,这将会直接影响模型的好坏。所以文章提出了一种自适应的,快速收敛的一种差分隐私方法。methods:主要方法有两个,一个是通过自适应学习速率提高收敛速度来降低隐私损失,另一个是通过引入自适应噪声来减轻差分隐私对模型精度的负面影响。上面这个图是SGD算法,他的学习率是固定的所以对于模型收敛来说不够好,下面的这个是RMSP原创 2022-04-27 15:10:29 · 459 阅读 · 5 评论 -
Removing Disparate Impact of Differentially Private Stochastic Gradient Descent on Model Accuracy
motivation:不合适的梯度剪切和随机噪声叠加影响不均衡数据中的少数代表和复杂的类和子群,从而导致效用损失的不平等。methods:修改的DPSGD,称为DPSGD-F。为了实现各分组在效用损失相等的情况下实现差分隐私。它使用自适应裁剪来调整每个组的样本贡献,使每个组的隐私级别根据其隐私成本进行校准。因此,在DPSGD-F中,最终各组的效用损失是相同的。传统的DPSGD步骤:梯度下降-根据阈值C裁剪clip-加噪声-反向传播core:为了在神经网络的私有训练中减少噪声,DPSGD截断神经网原创 2022-04-26 10:53:49 · 529 阅读 · 1 评论 -
差分隐私与机器学习
差分隐私与机器学习的综述【笔记】_谈论现实-CSDN博客Differential Privacy and Machine Learning: a Survey and Review 论文笔记总差分隐私部分:机器学习部分:评判标准:基于差分隐私应用在机器学习的一般思想:分基于差分隐私的监督学习:基于差分隐私的非监督学习:基于差分隐私的降维模型:统计估计:总理论结果:讨论:总差分隐私部分:作者在先验知识部分,介绍了查询的概念,这是其他文章没有提到的。在敏感度方面,按照时间线或者说缺陷的改进来说,从全局敏感度到局转载 2022-03-08 16:29:47 · 520 阅读 · 0 评论 -
CCS2016:Deep Learning with Differential Privacy
motivation:基于神经网络的机器学习技术需要大量且有代表性的训练数据,其中包含了许多敏感信息,所以为了解决这个问题,提出了一种学习算法技术和对差分隐私的隐私损失进行详细分析。key sentence:1.在本文中,我们将最先进的机器学习方法与先进的隐私保护机制相结合,在一个适度的(“个位数”)的隐私预算内训练神经网络。我们处理模型用具有非凸目标、几层、数层和数万到数百万参数的元素。2.我们证明,通过跟踪隐私损失的详细信息(更高的时刻),我们可以获得更严格的对总体隐私损失的估计原创 2022-02-23 16:48:11 · 884 阅读 · 0 评论 -
Differentially Private Na¨ıve Bayes Classification
隐私和安全问题往往会阻止共享用户的数据,甚至从中获得的知识,从而阻止有价值的信息被利用。隐私保护知识如果做得正确,可以缓解这个问题。原创 2022-02-22 10:31:10 · 198 阅读 · 0 评论 -
Differentially Private Publishing of High-dimensional DataUsing Sensitivity Control
motivation:敏感度太高,需要加大噪声去满足DPwe consider the problem of publishing column counts for high-dimensional datasets, such as querylogs or the Netflflix dataset. The key challenge is that as the sensitivity is high, highmagnitude noises need to be added to sati..原创 2021-12-17 15:57:25 · 165 阅读 · 0 评论 -
Practical Differential Privacy via Grouping and Smoothing
摘要:用DP解决了一次性发布的不重叠计数问题。先前工作在发布统计用较低的utility在一些实用场景中。所以提出了GS,a method that pre-processes the counts by elaboratelygroupingandsmoothingthem via averaging.一种通过对计数进行精心分组并通过平均来进行预处理的方法。这一步作为一种初步扰动的形式,降低了灵敏度,并使GS能够通过低拉普拉斯噪声注入来实现epsilon-差分隐私。分组策略通过一种采样机制来控制,它...原创 2021-12-15 15:16:58 · 673 阅读 · 0 评论 -
Privacy at Scale: Local Differential Privacy in Practice
文章属于综述,对于整个LDP的应用场景,方向都进行了系统概括。语言简单易懂,供我这种菜鸟学习,找到合适的方向。Amplification论文:A. V. Evfimievski, J. Gehrke, and R. Srikant. Limiting privacy breaches in privacypreserving data mining. InPODS, pages 211–222. ACM, 2003.2.2 行业发展谷歌公司的RAPPOR对于网页地址的获取(没有获取...原创 2021-12-07 15:55:33 · 335 阅读 · 0 评论 -
Privacy Amplification by Decentralization
3 Walking on a Ring3.1在有向环图上的真实求和边E从第一个用户u开始walk,范围是u到n-1。Token从用户1开始经过k次。背景:环是公开的。在LDP中,在发送数据给中心之前,需要给每一个single contribution添加随机扰动(标准差standard deviation)。所以在这个求和问题中,也是考虑了一个抽象机制Perturb(x;σ) 去添加噪声(高斯机制或者拉普拉斯)Letσlocbe the standarddeviation of the no...原创 2021-11-30 17:19:50 · 1455 阅读 · 0 评论