差分隐私-Laplace机制的简单证明

Laplace函数

$$f(x|\mu ,b)=\frac{1}{2b}{e}^{\frac{-|x-\mu |}{b}}$$
其图像为：

​ 其中$\mu$表示期望，图像上表示对称轴，$x$代表变量，$b$代表参数。

​ 对于该函数，其期望为$\mu$，方差为$2b^2$，这里的证明，比较简单，略。

​ 在差分隐私中通常，令$\mu$等于0，$b$等于$\frac{\Delta f}{\epsilon }$，此时函数Laplace函数记为：
$$Lap(\frac{\Delta f}{\epsilon })=\frac{1}{(\frac{2\Delta f}{\epsilon })}{e}^{\frac{-|x|}{(\frac{\Delta f}{\epsilon })}}$$
​ 化简为：
$$Lap(\frac{\Delta f}{\epsilon })=\frac{\epsilon }{2\Delta f}{e}^{\frac{-\epsilon |x|}{\Delta f}}$$

Laplace噪声满足$\epsilon$-差分隐私定义

差分隐私定义：

​ 对于相邻的数据集$D$和$D’$，他们两者之多相差一条数据。然后给定一个映射函数$f:D\to R^d$。它表示一个数据集$D$到一个$d$维空间的映射关系。对于所得的函数$f(D)=(x_1,x_2,\dots ,x_d{)}^T$上加入Laplace噪声，得到输出函数$M(D)$。

​ 可记为：
$$M(D)=f(D)+(La{p}_1(\frac{\Delta f}{\epsilon }),\dots ,La{p}_d(\frac{\Delta f}{\epsilon }){)}^T$$
​ 如果横着看不习惯，可以竖着看（看成列向量）。

​ 关键点：

​ $\Delta f=\underset{D,D^{\prime }}{\max }||f(D)-f(D^{\prime })|{|}_p$，其中$p$一般取值为1，即一范数。

​ 算法$M$满足差分隐私定义条件是：
$$Pr[M(D)\in S]⩽e^{\epsilon }\ast Pr[M(D^{\prime })\in S]$$
​ $S$表示为一组观察到的所有序列组合。类比于函数的值域。

证明

​ 首先，得出$\Delta f$的表示具体表示形式。

​ 设，$f(D)=(x_1,\dots ,x_d{)}^T$，$f(D^{\prime })=(x_1^{\prime },\dots ,x_d^{\prime }{)}^T=(x_1+\Delta x_1,\dots ,x_d+\Delta x_d{)}^T$，

则：

​ $\Delta f=\underset{D,D^{\prime }}{\max }(\sum _{i=1}^n(|x_i-x_i^{\prime }|))=\underset{D,D^{\prime }}{\max }(\sum _{i=1}^n|\Delta x_i|)$

​ 为了简化，假定所有的$x_i$均为0，那么$f(D)=(0,\dots ,0{)}^T$，$f(D^{\prime })=(\Delta x_1,\dots ,\Delta x_d{)}^T$

​ 记一个输出序列（向量）$S=(y_1,\dots ,y_d{)}^T$。

​ 证明技巧：化为分式比较

​ $Pr[M(D)\in S]=\prod _{i=1}^d\frac{\epsilon }{2\Delta f}{e}^{-\frac{\epsilon }{\Delta f}|y_i|}$，累乘号，是因为$x_i$独立同分布

​ $Pr[M(D^{\prime })\in S]=\prod _{i=1}^d\frac{\epsilon }{2\Delta f}{e}^{-\frac{\epsilon }{\Delta f}|y_i-\Delta x_i|}$

​ 二者相比：
$$\frac{Pr[M(D)\in S]}{Pr[M(D^{\prime })\in S]}=\frac{\prod _{i=1}^d\frac{\epsilon }{2\Delta f}{e}^{-\frac{\epsilon }{\Delta f}|y_i|}}{\prod _{i=1}^d\frac{\epsilon }{2\Delta f}{e}^{-\frac{\epsilon }{\Delta f}|\Delta x_i-y_i|}}=\prod _{i=1}^d{e}^{-\frac{\epsilon }{2\Delta f}(|y_i|-|y_i-\Delta x_i|)}=e^{\frac{\epsilon }{\Delta f}\sum _{i=1}^d(|y_i-\Delta x_i|-|y_i|)}$$
​ 由基本不等式知：
$$|y_i-\Delta x_i|-|y_i|\le |y_i-\Delta x_i-y_i|=|\Delta x_i|$$
​ 故上式：
$$\sum _{i=1}^d(|y_i-\Delta x_i|-|y_i|)\le \sum _{i=1}^n|\Delta x_i|\le \underset{D,D^{\prime }}{\max }(\sum _{i=1}^n|\Delta x_i|)=\Delta f$$
​ 于是有：

​
$$\frac{Pr[M(D)\in S]}{Pr[M(D^{\prime })\in S]}⩽e^{\epsilon }$$
​ 得证。即$Pr[M(D)\in S]⩽e^{\epsilon }\ast Pr[M(D^{\prime })\in S]$

​ 再由对称性知，$Pr[M(D^{\prime })\in S]⩽e^{\epsilon }\ast Pr[M(D)\in S]$

其他问题

我们已经知道，噪声是符合Laplace机制的，这样是符合差分隐私的定义的。问题是：

1. $M(D)=f(D)+(La{p}_1(\frac{\Delta f}{\epsilon }),\dots ,La{p}_d(\frac{\Delta f}{\epsilon }){)}^T$，这个“加法”是普通的加法就好了吗？对于数据集$D$的分布有什么要求吗？还是说任意数据都可以呢？
2. 在累乘时，我们默认是独立同分布的，那么非独立同分布数据也可以这样算吗？
3. 在$\Delta f$的定义时，我们假定是用一范数的，用其他范数来度量可以吗？答案是否定的，不可以。具体分析可以参考这篇文章。

4. 根据范数的定义可知道，$||\vec{x}|{|}_p$是一个随着$p$增大而不断减小的递减函数。这个结论是明显的，但是证明，现在我还不会。对于这题而言，这个范数的证明，是无关紧要的。但是这个结论是需要记住的。

参考自MathThinker

数学公式的排版好费时间呀，得多敲！排版公式的语法总结，后面写多了再做。