差分隐私（Differential Privacy）定义及其理解

🚀 优质资源分享 🚀

学习路线指引（点击解锁）	知识定位	人群定位
🧡 Python实战微信订餐小程序 🧡	进阶级	本课程是python flask+微信小程序的完美结合，从项目搭建到腾讯云部署上线，打造一个全栈订餐系统。
💛Python量化交易实战💛	入门级	手把手带你打造一个易扩展、更安全、效率更高的量化交易系统

1 前置知识

本部分只对相关概念做服务于差分隐私介绍的简单介绍，并非细致全面的介绍。

1.1 随机化算法

随机化算法指，对于特定输入，该算法的输出不是固定值，而是服从某一分布。

单纯形（simplex）：一个kk维单纯形是指包含k+1k+1个顶点的凸多面体，一维单纯形是一条线段，二维单纯形是一个三角形，三维单纯形是一个四面体，以此类推推广到任意维。“单纯”意味着基本，是组成更复杂结构的基本构件。

概率单纯形（probability simplex）：是一个数学空间，上面每个点代表有限个互斥事件之间的概率分布。该空间的每条坐标轴代表一个互斥事件，k−1k-1维单纯形上的每个点在kk维空间中的坐标就是其kk个互斥事件上的概率分布。每一点的坐标（向量）包含kk个元素，各元素非负且和为1。

如下图所示，三个事件发生的概率分布形成一个二维的概率单纯形，上面每个点在三个事件上发生的概率之和为1。

形式化定义：给定一个离散集BB，BB上的概率单纯形Δ(B)\Delta(B)被定义为

Δ(B)={x∈R|B||xi≥0,i=1,2,⋯,|B∣;|B|∑i=1xi=1}\Delta(B)=\left{x \in \mathbb{R}^{|B|}\left|x_{i} \geq 0, i=1,2, \cdots,\right| B \mid ; \sum_{i=1}^{|B|} x_{i}=1\right}
Δ(B)\Delta(B)是一个集合，集合中每一个元素是一个|B||B|维向量，该向量代表了一个离散型随机变量的概率分布。Δ(B)\Delta(B)代表了一个有|B||B|种取值的离散型随机变量的所有可能的概率分布。

随机化算法（randomized algorithm）：一个随机化算法M\cal{M}有定义域AA、离散的值域BB。一个输入a∈Aa\in A，算法M\cal{M}的输出M(a)\mathcal{M}(a)是一个随机变量，服从概率分布p(x)=Pr(M(a)=x),x∈Bp(x)=\operatorname{Pr}(\mathcal{M}(a)=x),x\in B，并且p(x)∈Δ(B)p(x)\in \Delta(B)。

例如，A={2,3,4}A={2,3,4}，B={1,2,3,4,5}B={1,2,3,4,5}，设Δ(B)\Delta(B)中包含三个元素，分别为(13,13,13,0,0)(\frac{1}{3},\frac{1}{3},\frac{1}{3},0,0)、(0,13,13,13,0)(0,\frac{1}{3},\frac{1}{3},\frac{1}{3},0)、(0,0,13,13,13)(0,0,\frac{1}{3},\frac{1}{3},\frac{1}{3})，即

Δ(B)={(13,13,13,0,0),(0,13,13,13,0),(0,0,13,13,13)}\Delta(B)=\left{
(\frac{1}{3},\frac{1}{3},\frac{1}{3},0,0),
(0,\frac{1}{3},\frac{1}{3},\frac{1}{3},0),
(0,0,\frac{1}{3},\frac{1}{3},\frac{1}{3}) \right}
每个元素均代表算法输出的随机变量取值为1,2,3,4,5的概率分布，现可以规定映射M\cal{M}为

M(2)∼(13,13,13,0,0),M(3)∼(0,13,13,13,0),M(4)∼(0,0,13,13,13)\mathcal{M}(2)\sim \left(\frac{1}{3}, \frac{1}{3}, \frac{1}{3}, 0,0\right), \mathcal{M}(3)\sim \left(0, \frac{1}{3}, \frac{1}{3}, \frac{1}{3}, 0\right), \mathcal{M}(4)\sim \left(0,0, \frac{1}{3}, \frac{1}{3}, \frac{1}{3}\right)
也就是说，一个特定输入a∈Aa\in A经过随机化算法M\cal{M}得到的不是一个具体值b∈Bb\in B，而是一个随机变量