【高斯和拉普拉斯为什么分别对应L2和L1?】差分隐私系统学习记录（五）

写在前面的话

有一段时间没更新这个系列了，今天组会完晚上休息一下，再看看这本书。纯属个人笔记，如有问题请看原文或者留下评论。

Laplace versus Gauss

什么是先验分布？后验分布？似然估计？

x: 观察得到的数据（结果）

y : 决定数据分布的参数（原因）

先验分布（因）：Pr(y）

后验分布（先果后因：贝叶斯公式）：Pr(y|x)

似然估计（先因后果）：Pr(x|y)

举个例子：我有一个图像分类模型，有很多数据，每个数据有自己的特征。同时我设定了一些类别。这个时候我拿一个数据问你，这个数据属于哪一类？

Pr(类别｜特征)＝Pr(类别)×｛Pr(特征｜类别)／Pr(特征)｝

Pr(类别｜特征)表示后验，在该特征下属于这个类别的概率。

Pr(类别)表示先验，样本中该类别的概率。

Pr(特征｜类别)表示似然，该类别下，是该特征的概率。

Pr(特征｜类别)／Pr(特征)越大则偏向这个类别，越小则不是这个类别。

Pr(特征)表示全概率公式计算。

Ps.先验是非常重要的，特别对于机器学习来说，先验就是优化的开始, 可以在较小的数据集中有良好的泛化性能，从信息论的角度看，向系统加入了正确先验这个信息会提高系统的性能。

为什么拉普拉斯对应L1，高斯对应L2

原因是L1和L2正则先验分别是服从拉普拉斯分布和高斯分布的。至于先验分布是什么前面有解释。即先验分布是拉普拉斯分布时，正则化项为L1范数；当先验分布是高斯分布时，正则化项为L2范数。关于这两者的深入理解可以看看这篇博客。

1、拉普拉斯分布在参数w=0点的概率最高，因此L1正则化相比于L2正则化更容易使参数为0。
2、高斯分布在零附近的概率较大，因此L2正则化相比于L1正则化更容易使参数分布在一个很小的范围内。

回到书上

这一段应该比较好理解，我就不赘述了。就是高斯也行，只是用的L2。只是算敏感度的时候要遵循L2范数。并且定理3.22提到了高斯机制伴随着 δ。

高斯优点
1、添加的噪声与其他噪声源具有相同的类型
2、两个高斯的和是高斯的，因此隐私机制对统计分析的影响可能更容易理解和修正。

这两种机制在组合下产生相同的累积损失，因此即使对于每个单独合成来说,隐私保证较弱，但在许多计算中的累积影响是可比较的。此外，如果 δ 足够小（例如，亚多项式），在实践中，我们将永远不会遇到差分隐私保证的不足之处。

也就是说，相对于拉普拉斯噪声，高斯噪声在理论上是有缺点的。考虑 Report Noisy Max（带有拉普拉斯噪声）算法下，每个候选输出在数据库 x 上的效用得分与其在相邻数据集 y 上的效用分数相同。该机制产生 (ε,0)-差分隐私，与候选输出的数量无关。如果我们使用高斯噪声并报告最大值，并且如果候选值的数量比 1/δ 大，那么我们将精确地选择发生概率小于 δ 的具有大高斯噪声的事件。当我们远离高斯分布的尾时，我们不再能保证在 x,y 数据库的观测概率的差别在e^±ε因子内。