本地差分隐私 随机响应_差分隐私（四）- Composition Theorem 组成理论

最新推荐文章于 2023-04-25 16:28:41 发布
最新推荐文章于 2023-04-25 16:28:41 发布
阅读量934 收藏 3
点赞数
文章标签： 本地差分隐私 随机响应
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_30799553/article/details/112197479
版权

f88f6c47d8dd5142aea575f230803c2e.png

差分隐私的 Composition Theorem

在前面三节介绍的内容是0到1的一个过程，是为了明白差分隐私的基本概念。而这一节要讲到Composition Theorem是1到n的过程。

Composition Theorem直接翻译的话就是组成原理，目的就是将一系列满足差分隐私的查询组合在一起，并且保证整体仍然满足差分隐私。

例如，对一个简单的3层神经网络，如果将每个神经元计算梯度看成一个查询函数

，输入是数据集
，输出是梯度
。那么组成原理研究的就是整个神经网络满足怎样的差分隐私。这篇里面主要讲的包括两个部分的内容:
  • 第一个是基本组成原理，就是不考虑查询函数之间的关联性（查询相互独立）
  • 第二个是高级组成原理，就是考虑查询函数之间的关联性

基本的内容目录如下：

  • 基本组成原理 Basic Composition Theorem
    • 并行组成 不相交数据集，不同查询
    • 串行组成 同一数据集，不同查询
  • 高级组成原理 Advanced Composition Theorem
    • Naive Composition Theorem
    • Strong Composition Theorem
    • Moment Account (15年Deep Learning with Differential Privacy[1]中提出的)

1. Basic Composition Theorem

1.1 Sequential Composition 串行组合

串行组合简单讲就是同一数据集，不同查询函数，在[PINQ][2]中的定义是：

fa89be553e6406548fb045d4dec67359.png

其中

表示一个满足
的差分隐私算法，而
表示所有的算法作用于同一个数据集
,那么这些算法构成的集合满足
差分隐私，证明很简单，可以直接参考[PINQ]
[2] 中的 2.4节。简单的示意图如下面图1中左边的 Sequential Composition。

1.2 Parallel Composition 并行组合

并行组合简单讲就是不同数据集，不同查询函数，在[PINQ][2] 中的定义是：

e6d5104d276f8ffc4cd2c6b8ac0c9cdd.png

其中

表示一个满足
的差分隐私算法，
表示
互不相交的数据集，
表示各个差分隐私算法之间作用的数据集互不相交，那么整体满足
差分隐私。一个推广是，如果
满足
的差分隐私算法，那么整体满足
差分隐私。简单示意图如图1中右边的
Parallel Composition。

4acd7adfab4229adf73902e9ea0ae747.png
图1 串行和并行组成原理

2. Advanced Composition 高级组成

在上一节我们讲了两个基本的组成原理，并行的和串行的。而这一节，我们向更高级一点的方向研究一下。我们考虑攻击者可以自适应地影响数据库以及对应的查询机制，换句话说查询与查询之间是存在关联的，如下图所示。

e3c506d449f52105a5f9b354199044d9.png

其中，

表示一系列满足差分隐私的查询机制，数量为
；
表示第
个查询机制；
表示攻击者；
表示两个邻接数据库；
表示的是实验的下标；
表示第
个查询机制得到的结果。

最终的输出结果可以用

进行表示：

d330647b9007e06271dfc3b55cef0648.png

其中

代表的是攻击者
随机扔出的一个骰子，值可以是0或者1，代表两个实验；其余的
表示的是
次查询的结果。

这个输出是一个多维的随机变量，它有对应的分布；我们的目标就是让基于任意两个兄弟数据集（只相差一个样本）得到的两个输出变量之后，他们对应的分布的差异应该尽可能接近，以至于攻击者不知道用了哪个数据集。而两个分布的差异就称为Privacy Loss，如果是严格约束这个Privacy Loss，那么就是

差分隐私；如果允许一定程度违背，那么就是
差分隐私。

2.1 Navie Composition Throrem

167c03e2a2b146e6aac7d3d3746e52f6.png

这是最简单的组合机制，可以看到组合之后的

。证明内容可以参考[lecture]
[3]，一个简单的例子如下[DLDP] [4]。

98dde2644dc4605364f6ee265e631184.png

2.2 Strong Composition Throrem

强组合原理的基本思想就是用很小的一点

换取很多的
。这里的证明可以参考[Privacy Book]
[5]中的 [Theorem 3.20]。

cc0fd38cef17abbb96315576dd9dcac1.png

这里咋一看组合之后的

比
Naive Composition的还多，但实际上当
的时候，后面一项
近似等于0，这样整体的
，相当于
，相对于原来的
节省了更多的隐私预算。一个简单的例子如下[DLDP]
[4]：

e1e08cd76933b20248f56c12d91fd0ca.png

2.3 Moments Accountant

这是在Deep Learning with differential privacy中提出来的方法，细节的证明可以参考[1]，这里我讲述一下基本思路。

它提出的方法就是在计算的梯度

中加入噪声，而重要的就是噪声的大小，整篇文章的重点就是研究如何在满足差分隐私的前提下加入噪声。

196834fb58bf46e922fe6018d81bd298.png

69f128a1bf72861783249d4b91b49056.png

9324fde494522fce28eb44bcc2755823.png

而这个

决定了加入噪声
的大小，其中
。一个简单的例子为
[4]：

ab9cc396752bb156ca7901d82026d8ac.png

可以看到在三种方法种，Moment Account方法在同样的花费的隐私预算最小。

参考

  1. ^abDeep Learning with differential_privacy https://arxiv.org/abs/1607.00133
  2. ^abcPrivacy Integrated Queries https://www.microsoft.com/en-us/research/wp-content/uploads/2009/06/sigmod115-mcsherry.pdf
  3. ^Composition Theorems https://www.cis.upenn.edu/~aaroth/courses/slides/Lecture4.pdf
  4. ^abcPPT-Deep Learning with differential privacy https://course.ece.cmu.edu/~ece734/fall2016/lectures/Deep_Learning_with_differential_privacy.pdf
  5. ^The algorithm fundation of differential book https://www.cis.upenn.edu/~aaroth/Papers/privacybook.pdf
李沛钰
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
arend-lib.zip_jatbrains_logic_mathematics_theorem prover_unlesss
09-19
Jetbrains new Arend theorem prover.
Project_Arctic_circle_theorem-:HMMA238的项目
03-17
Project_Arctic_circle_theorem- HMMA238的项目
快速分数差分算法-研究论文
05-19
我们提供了一种用于计算时间序列的分数差的快速算法。 在标准实现中，计算速度（算术运算数）约为T ^ 2，其中T是时间序列的长度。 我们的算法允许计算速度为T log T阶。对于中等大小和大样本量，计算时间上的差异是很大的。
zhongzhilvbo-.rar_Mean Value Theorem_中值定理
09-24
数字信号处理、图像处理 中值定理有关原理内容 快速算法
Havel-Hakimi-Theorem.zip_The Given
09-19
此代码是图论Havel-Hakimi Theorem的实现，用于解决给出点集的入度数，判断一个图是否连通图-This code is shown in Figure On the implementation of the Havel-Hakimi Theorem, for solving the given point set into the degree to determine whether a graph connected graph
python中dataframe合并列名日期到季度_合并dataframe时用零填充缺少的日期数据
weixin_39895684的博客
12-10 244
import pandas as pdimport numpy as npone = pd.read_csv('data1.csv')two = pd.read_csv('data2.csv')我是这么写的，还有一个节目^{pr2}$两场演出B Date15 2011-01-0115 2011-01-0215 2011-01-0325 2011-01-0735 ...
差分隐私（一）—基本概念与特性
AzulSystems的博客
03-05 434
考虑两个数据库D和D'，这两个数据库之间只有一条记录不同。有一个随机响应机制M[]，其输入参数是一个数据库，输出一个结果。如果说对于任意一对D和D'，M[D]和M[D']所得到的结果都是难以区分的，我们就说随即机制M[]是差分隐私的。将该定义进行形式化：一个机制M[]是ε-差分隐私的，如果说对于任意一个子集S⊂Range[M]与数据库D和D'，有：ϵ\epsilonϵ控制了随机机制在两个相邻数据库上的的输出的差异程度，并捕获了在数据库上运行随机机制时丢失了多少隐私。
差分隐私中随机响应的抛硬币问题（LDP）
谈论现实
11-09 1707
[关于随机响应的抛硬币问题和LDP的思考] RAPPOR: Randomized Aggregatable Privacy-Preserving Ordinal Response 【论文笔记】 写在前面的话摘要RAPPOR和（纵向）攻击结论直接看这里吧！！！！ 写在前面的话 这篇论文是下面这篇论文的引文 有一个地方没有弄明白 之前看的是投两次硬币，这里写的是一次性的概率，如果p小于0.5那不就为负数了，得到的值还比原来的小。单是这一点我就很困惑，再者这个概率p和1-p不都是对于总体而言吗？可以单独放在一
ε-差分隐私之拉普拉斯噪声机制（定义 + 证明 + 代码）
热门推荐
Null
11-13 1万+
ε-差分隐私之拉普拉斯噪声机制 差分隐私的描述 1-范式的定义：使用matlab调用函数norm(x, 1) 更多范式见 范式 差分隐私的定义应该满足 拉普拉斯噪声的证明全过程如下： DP方向差分隐私证明是基本入门！！！ -拉普拉斯噪声分布代码 Laplace分布的概率密度函数的形式是： 使用python - matplotlib来绘制概率分布图： import matplotlib.pyplot as plt import numpy as np def laplace_fun
差分隐私中常见的处理方法-随机响应（一枚不公正的硬币）
Tiko的博客
04-27 5307
文章目录0.事先声明1.local_differential_privacy_library中的算法eps2p(epsilon, n=2)，计算概率discretization(value, lower=0, upper=1)，离散化random_response(bit_array: np.ndarray, p, q=None)，随机响应random_response_adjust(s: np....
第十九周工作进展报告 Local Differential Privacy for Deep Learning
三金samkam的博客
01-30 1076
第十九周工作进展报告 本周主要是学习联邦学习与隐私保护中的一种用于深度学习框架下的本地差分隐私方法以及一种SGD-DP（stochastic gradient descent differential privacy）算法。 “Local Differential Privacy for Deep Learning”文中预备知识介绍： 1）隐私预算（privacy budget）/隐私损失（privacy loss）：ε 2）错误概率（probability of error）/失败概率（proba
【译】Privacy and machine learning: two unexpected allies
omnispace的博客
06-14 661
在机器学习的许多应用中，例如用于医疗诊断的机器学习，我们希望具有机器学习算法，其不记住关于训练集的敏感信息，诸如个体患者的特定医疗历史。 差分隐私是衡量算法提供的隐私保证的框架。 通过差异隐私的镜头，我们可以设计机器学习算法，负责在私人数据上训练模型。 我们的作品（包括MartínAbadi，ÚlfarErlingsson，Ilya Mironov，Ananth Raghunathan，Shua...
差分隐私理论入门科普
黎明小书生
03-16 2906
        在基于隐私保护的数据发布研究中，主要考虑两个因素：1）隐私的保护性，即确保数据不会造成隐私泄漏；2）数据的有效性，即数据隐私保护后数据仍具有效用，在后续数据挖掘等工作中仍然具有较高的精确度 差分隐私主要分为4类，本地化差分隐私、中心化差分隐私、分布式差分隐私和混差分隐私。 1、本地化差分隐私（ε－LDP） 在本地化差分隐私中，一个统计数据库的查询结果不会受到任何单一隐私数据的影响，它能在确保处理后统计信息可用的需
【差分隐私的Advanced composition到底是什么？】差分隐私系统学习记录（四）
谈论现实
11-16 1511
The Algorithmic Foundations of Differential Privacy （四）写在前面的话Composition: some technicalitiesAdvanced compositionExperiment b for family F and adversary A:Lecture 4：Composition Theorems回到书上 写在前面的话 纯属个人笔记，如有问题请看原文或者留下评论。 Composition: some technicalities 在本节
差分隐私（Differential Privacy）
Michale_L的博客
04-25 5154
差分隐私，拉普拉斯机制和高斯机制的证明
差分隐私-Laplace机制的简单证明
Tiko的博客
04-20 4495
文章目录Laplace函数Laplace噪声满足ε\varepsilonε-差分隐私定义差分隐私定义：证明其他问题数学公式的排版好费时间呀，得多敲！排版公式的语法总结，后面写多了再做。 Laplace函数 f(x∣μ,b)=12be−∣x−μ∣b f(x|μ,b)=\frac{1}{2b}e^{\frac{-|x-μ|}{b}} f(x∣μ,b)=2b1​eb−∣x−μ∣​ 其图像为： ​ 其中...
6、隐私计算--差分隐私
安全学习笔记
06-28 5640
差分隐私
基于随机响应机制的本地差分隐私【谷歌】论文笔记
谈论现实
11-10 2127
RAPPOR: Randomized Aggregatable Privacy-Preserving Ordinal Response 论文阅读写在前面的话自己的理解（整理）攻击模型注意事项相关工作总结 写在前面的话 这篇文章是我在读《AsgLDP: Collecting and Generating Decentralized Attributed Graphs With Local Differential Privacy》时用到的一篇引文。来自谷歌作者团队，收录于14年的CCS。时间比较久远，但是很经
the central limit theorem
最新发布
12-22
中心极限定理是统计学中的一项重要定理，它指出在独立同分布的随机变量和的情况下，其均值的分布会趋向于正态分布。这个定理对于理解概率与统计的基本原理非常重要。 具体来说，中心极限定理可以帮助我们理解大量独立同分布随机变量的总体均值的分布特性。当样本量足够大时，样本均值的分布会接近于正态分布，即使原始随机变量并不服从正态分布。这也解释了为什么在实际中我们常常看到许多现象都服从正态分布，比如身高、体重等。 中心极限定理的应用非常广泛，它在统计推断和假设检验中起到了至关重要的作用。通过中心极限定理，我们可以根据样本均值的分布来对总体均值进行估计，并进行参数推断。此外，在实际应用中，我们也常常利用中心极限定理来对样本均值进行抽样分布推断和置信区间估计。 总之，中心极限定理为统计学提供了一个重要的基础，并为我们理解和解释现实世界中的许多概率和统计现象提供了重要的理论支持。它的应用不仅限于学术研究，同时也在商业、工程等领域有着广泛的应用和重要的实际意义。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值