差分隐私中的组合性质-串行，并行，推论

Laplace噪声的概率累积函数

Laplace噪声概率函数

$$f(x|\mu ,b)=\frac{1}{2b}{e}^{\frac{-|x-\mu |}{b}}$$

Laplace噪声的概率累积函数

$$F(x|\mu ,b)=\{\begin{array}{l}\frac{1}{2}{e}^{-\frac{\mu -x}{b}},x<\mu \\ 1-\frac{1}{2}{e}^{-\frac{x-\mu }{b}},x⩾\mu \end{array}$$

做出其图像为：

​ 这个函数莫名像sigmod函数，有木有！

​ 由于概率累计分布的值域区间为$[0,1]$，因此在生成Laplace噪声之前应该先生成区间在$[0,1]$之间的满足均匀分布的随机值。

​ 通过求解概率累积函数的反函数即可求得累积函数的反函数即可求得满足Laplace分布的噪声。

​ 计算的方法见MathThinker，这里的计算还是很简单的，自己可以搞定。

​ 他的求解方法，看懂了。求反函数的基本套路，反解法。反函数的图像和原图像关于直线$y=x$对称。

若，$\xi -Uni(0,1)$满足均匀分布，则

​ 逆累积分布函数为：
$$x=\{\begin{array}{l}b\ln (2\xi )+\mu ,\xi <\frac{1}{2}\\ \mu -b\ln (2(1-\mu )),\xi ⩾\frac{1}{2}\end{array}$$
若，$\xi -Uni(-0.5,0.5)$满足的均匀分布。假定${\xi }^{\prime }-Uni(-0.5,0.5)$，则${\xi }^{\prime }+0.5-Uni(0,1)$的均匀分布，令$\xi ={\xi }^{\prime }+0.5$，采用上述的结论得：
$$x=\{\begin{array}{l}\mu +b\ln (1+2{\xi }^{\prime }),{\xi }^{\prime }<0\\ \mu -b\ln (1-2{\xi }^{\prime }),{\xi }^{\prime }⩾0\end{array}$$
这样说的好处是，可以是将分段函数统一。
$$x=\mu -b\ast sign({\xi }^{\prime })\ast ln(1-2\ast sign({\xi }^{\prime })\ast \xi )$$

兄弟数据集解释

对称差集$⨁$

对称差集$⨁$：集合运算式，$T=R⨁S=(R\cup S)-(R\cap S)$

记$\Delta =|R⨁S|$表示对称差集中的元素个数。

而集合$R$和集合$S$为兄弟数据集当且仅当$|R⨁S|=1$。

差分隐私定义概念延展（完整版）

对于$\forall D,D^{\prime }满足$$|D⨁D^{\prime }|=1,O\in Range(A)$，如果算法$A$满足$Pr[A(D)=O]⩽e^{\epsilon \ast |D⨁D^{\prime }|}\ast Pr[A(D^{\prime })=O]$，则算法$A$满足$\epsilon \ast |D⨁D^{\prime }|$-差分隐私。

由于定义的前提是满足$|D⨁D|=1$，所以就变成了$\epsilon$-差分隐私。

注：接下来的原理解释，需要用到$|D⨁D|$的性质

差分隐私的组合原理

差分隐私的串行组合原理

• 条件：
  1. 算法$A_i(D)$分别满足${\epsilon }_i$-差分隐私
  2. 任意两个算法的随机过程相互独立
• 结论：
  • 算法满足$\sum _{i=1}^m{\epsilon }_i$-差分隐私

差分隐私的并行组合原理

• 条件

1. 这里说的并行指的是，输入数据集的并行。

2. 定义差分隐私算法所保护数据库集合$D$的元素$x$定义在集合$R$上，即$R=domain(x)$，因此有$D\subseteq R$。

令 { R 1 , R 2 , … , R t } \{R_1,R_2,\dots,R_t \} {R1​,R2​,…,Rt​}为$R$的一种划分，满足$R=\bigcap _{i=1}^t{R}_i,R_i\cap R_j=\varnothing ,i\ne j$。

​ 例如：差分隐私所保护的数据库中存储关于人的信息数据。其中$D$表示一个具体的数据集作为算法的输入，而$R$表示所有可用来表示一个人的信息集合。假定一种可能的划分是按照性别对数据库中的人进行划分，从而将人分为，男性，女性和未知，分别用$R_1,R_2,R_3$表示每种可能出现的所有人的集合。这些不同性别的人直接没有交集，同时合在一起组成所有的人。根据该划分规则可以将数据集划分为不同的自己，将满足划分子类$R_i$的数据自己为$D_i$，则$D_i=D\cap R_i$。（这种数据集划分规则有种，完备集的赶脚，只是这种划分规则的指定，就很有说法了。）

• 结论

  算法满足$\epsilon$-差分隐私。

重要说明（证明）

$\forall i\ne j,D_i\cap D_j=\varnothing ,D_i^{\prime }\cap D_j^{\prime }=\varnothing$，因此对于$\sum _{i=1}^m|D_i⨁D_i^{\prime }|$推论如下：
$$\begin{gathered} \sum _{i=1}^m|D_i⨁d_i^{\prime }|=|\bigcup _{i=1}^m(D_i⨁d_i^{\prime })|=|\bigcup _{i=1}^m((D\cap R_i)⨁(D^{\prime }\cap R_i))| \\ =|\bigcup _{i=1}^m((D⨁D^{\prime })⨁R_i)|=|((D⨁D^{\prime })\cap \bigcup _{i=1}^m{R}_i|=|(D⨁D^{\prime })\cap R| \end{gathered}$$
因为$R$为元素的定于有$D\subseteq R,D^{\prime }\subseteq R$。因此，上述的推导最终结果为：
$$\sum _{i=1}^m|D_i⨁D_i^{\prime }|=|D⨁D^{\prime }|=1$$

因此，在并行组合下的差分隐私算法满足$\epsilon$-差分隐私。

推论

• 理解，可以从上面的图上进行类比。至于怎么证明，没看懂。可参考MathThinker

参考自MathThinker