差分隐私专栏

Laplace机制

对于 数值型 的数据，一般采用 Laplace 或者 高斯 机制，对得到数值结果加入随机噪声即可实现差分隐私。

Laplace噪声

拉普拉斯噪声是指满足拉普拉斯分布的一个随机值，该分布的概率密度函数为：
$$f(x\mid \mu ,b)=\frac{1}{2b}{e}^{-\frac{|x-\mu |}{b}}$$
$\mu$是位置参数，$b$ 是尺度参数。
图像分布如下：

由概率密度函数求分布的概率累积函数如下：
$$\mathrm{F}(x\mid \mu ,b)=\{\begin{array}{l}\frac{1}{2}{e}^{-\frac{\mu -x}{b}},x<\mu \\ 1-\frac{1}{2}{e}^{-\frac{x-\mu }{b}},x\ge \mu \end{array}$$
推导如下：
当$x<\mu$ 时，$f(x\mid \mu ,b)=\frac{1}{2b}{e}^{-\frac{\mu -x}{b}}$
$$\mathrm{F}(x\mid \mu ,b)=\frac{1}{2b}{\int }_{-\infty }^x{e}^{-\frac{\mu -x}{b}}dx=\frac{1}{2b}{\int }_{-\infty }^x{e}^{\frac{x-\mu }{b}}dx$$
令$t=\frac{x-\mu }{b}$，可得：
$$\mathrm{F}(x\mid \mu ,b)=\frac{1}{2b}{\int }_{-\infty }^{\frac{x-\mu }{b}}b{e}^{t}dt=\frac{1}{2}{\int }_{-\infty }^{\frac{x-\mu }{b}}{e}^{t}dt=\frac{1}{2}{\left[e^t\right]}_{-\infty }^{\frac{x-\mu }{b}}=\frac{1}{2}{e}^{-\frac{\mu -x}{b}}$$
当$x\ge \mu$时，根据拉普拉斯分布的对称性可得：
$$\mathrm{F}(x\mid \mu ,b)=\frac{1}{2b}{\int }_{-\infty }^x{e}^{-\frac{\mu -x}{b}}dx=1-\frac{1}{2b}{\int }_x^{+\infty }{e}^{-\frac{\mu -x}{b}}dx=1-\frac{1}{2b}{\int }_{-\infty }^x{e}^{-\frac{\mu -x}{b}}dx=1-\frac{1}{2}{e}^{-\frac{\mu -x}{b}}$$
拉普拉斯分布函数的期望和方差分别为$\mu$和$2b^2$。推导如下：
期望：
$$\begin{array}{rl}\mathrm{E}(x)& =\frac{1}{2b}\left({\int }_{-\infty }^{\mu }x{e}^{-\frac{\mu -x}{b}}dx+{\int }_{\mu }^{+\infty }x{e}^{\frac{\mu -x}{b}}dx\right)=\frac{1}{2b}\left({\int }_{-\infty }^{0}b(bt+\mu )e^{t}dt-{\int }_0^{-\infty }b(\mu -bt)e^{t}dt\right)\\ & =\frac{1}{2b}{\int }_{-\infty }^{0}b((bt+\mu )+(\mu -bt))e^{t}dt={\int }_{-\infty }^0\mu e^{t}dt=\mu \end{array}$$
方差：
$$\begin{array}{rl}\mathrm{D}(x)& =\mathrm{E}\left(x^2\right)-{\mathrm{E}}^2(x)=\frac{1}{2b}\left({\int }_{-\infty }^{\mu }{x}^2{e}^{-\frac{\mu -x}{b}}dx+{\int }_{\mu }^{+\infty }{x}^2{e}^{\frac{\mu -x}{b}}dx\right)-{\mu }^2\\ & =\frac{1}{2b}{\int }_{-\infty }^{0}b\left((bt+\mu {)}^2+(\mu -bt{)}^2\right)e^{t}dt-{\mu }^2\\ & =\frac{1}{2b}{\int }_{-\infty }^{0}2b\left(b^2{t}^2+{\mu }^2\right)e^{t}dt-{\mu }^2=b^2{\int }_{-\infty }^0{t}^2{e}^{t}dt=b^2{\int }_{-\infty }^0{t}^{2}d{e}^t\\ & =b^2\left({\left[t^2{e}^t\right]}_{-\infty }^0-{\int }_{-\infty }^0{e}^{t}d{t}^2\right)=-2b^2{\int }_{-\infty }^{0}t{e}^{t}dt=-2b^2\left({\left[t{e}^t\right]}_{-\infty }^0-{\int }_{-\infty }^0{e}^{t}dt\right)\\ & =2b^2\end{array}$$

Laplace噪声满足$\epsilon -$差分隐私定义

差分隐私定义：

对于相邻的数据集$D$和$D^{{}^{\prime }}$，两者之间之多相差一条数据。给定一个一个映射函数$f:D\to R^d$。它表示一个数据集$D$到一个$d$维空间的映射关系。对于所得的函数$f(D)={\left(x_1,x_2,\dots ,x_d\right)}^T$上Laplace噪声，得到输出噪声$M(D)$。
$$M(D)=f(D)+{\left({\mathrm{Lap}}_1\left(\frac{\Delta f}{\epsilon }\right),\dots ,{\mathrm{Lap}}_d\left(\frac{\Delta f}{\epsilon }\right)\right)}^T$$
其中：
$$\Delta f=\underset{D,D^{\prime }}{\max }{\Vert f(D)-f\left(D^{\prime }\right)\Vert }_p$$，其中$p$一般取值为1，即一范数。
**注释：1范数：所有元素绝对值的和。$\Vert x{\Vert }_1=\left|x_1\right|+\left|x_2\right|+\left|x_3\right|+\left|x_4\right|+\dots +\left|x_n\right|$
算法$M$满足差分隐私定义条件是：
$$\mathrm{Pr}[M(D)\in S]⩽e^{\epsilon }\ast \mathrm{Pr}\left[M\left(D^{\prime }\right)\in S\right]$$
$S$表示为一组观察到的所有序列组合。类比与函数的值域。
证明
假设$f(D)={\left(x_1,\dots ,x_d\right)}^T,f\left(D^{\prime }\right)={\left(x_1^{\prime },\dots ,x_d^{\prime }\right)}^T={\left(x_1+\Delta x_1,\dots ,x_d+\Delta x_d\right)}^T$
则：
$$\Delta f=\underset{D,D^{\prime }}{\max }\left(\sum _{i=1}^n\left(\left|x_i-x_i^{\prime }\right|\right)\right)=\underset{D,D^{\prime }}{\max }\left(\sum _{i=1}^n\left|\Delta x_i\right|\right)$$
为了简化，假定所有的$x_i$均为0，那么$f(D)=(0,\dots ,0{)}^T,f\left(D^{\prime }\right)={\left(\Delta x_1,\dots ,\Delta x_d\right)}^T$
记一个输出序列（向量）$S={\left(y_1,\dots ,y_d\right)}^T$
​ 证明技巧：化为分式比较
$$\mathrm{Pr}[M(D)\in S]=\prod _{i=1}^d\frac{\epsilon }{2\Delta f}{e}^{-\frac{\epsilon }{\Delta f}|y_i|}$$
累乘号，是因为$x_i$独立分布
$$\mathrm{Pr}\left[M\left(D^{\prime }\right)\in S\right]=\prod _{i=1}^d\frac{\epsilon }{2\Delta f}{e}^{-\frac{\epsilon }{\Delta f}|y_i-\Delta x_i|}$$
两者相比可得：
$$\frac{\mathrm{Pr}[M(D)\in S]}{\mathrm{Pr}\left[M\left(D^{\prime }\right)\in S\right]}=\frac{{\prod }_{i=1}^d\frac{\epsilon }{2\Delta f}{e}^{-\frac{\epsilon }{\Delta f}|y_i|}}{{\prod }_{i=1}^d\frac{\epsilon }{2\Delta f}{e}^{-\frac{\epsilon }{\Delta f}|\Delta x_i-y_i|}}=\prod _{i=1}^d{e}^{-\frac{\epsilon }{2\Delta f}\left(|y_i|-|y_i-\Delta x_i|\right)}=e^{\frac{\epsilon }{\Delta f}{\sum }_{i=1}^d\left(|y_i-\Delta x_i|-|y_i|\right)}$$
由基本不等式可知：
$$\left|y_i-\Delta x_i\right|-\left|y_i\right|\le \left|y_i-\Delta x_i-y_i\right|=\left|\Delta x_i\right|$$
故上式：
$$\sum _{i=1}^d\left(\left|y_i-\Delta x_i\right|-\left|y_i\right|\right)\le \sum _{i=1}^n\left|\Delta x_i\right|\le \underset{D,D^{\prime }}{\max }\left(\sum _{i=1}^n\left|\Delta x_i\right|\right)=\Delta f$$
于是有：
$$\frac{\mathrm{Pr}[M(D)\in S]}{\mathrm{Pr}\left[M\left(D^{\prime }\right)\in S\right]}⩽e^{\epsilon }$$
再由对称性可知：
$$\mathrm{Pr}\left[M\left(D^{\prime }\right)\in S\right]⩽e^{\epsilon }\ast \mathrm{Pr}[M(D)\in S]$$