潜在因子模型+拉普拉斯噪声 差分隐私

在Latent Factor Models中添加拉普拉斯噪声的方式通常是在目标函数中引入拉普拉斯噪声，使得每个元素都有一定的概率被扰动。因此，在该模型中，我们可以将目标函数表示为：

$\text{argmin}\mathbf{P},\mathbf{Q}|\mathbf{R}-{\mathbf{PQ}}^T|F^2+\frac{\lambda }{n}\sum {i,j=1}^n|pij|+\frac{\lambda }{m}{\sum }_{i,j=1}^m|q_{ij}|$

其中，$\mathbf{R}$ 是观测矩阵，$\mathbf{P}$ 和 $\mathbf{Q}$ 分别是潜在因子矩阵和因子载荷矩阵，$\lambda$ 是拉普拉斯分布的尺度参数，$n$ 和 $m$ 分别是 $\mathbf{P}$ 和 $\mathbf{Q}$ 的大小。

要证明合成数据满足差分隐私，我们需要考虑两个相邻数据集 $\mathcal{D}$ 和 ${\mathcal{D}}^{\prime }$ 之间的距离，即 $||\mathcal{D}-{\mathcal{D}}^{\prime }|{|}_1$。在这种情况下，我们可以将 $\mathcal{D}$ 视为无噪声的数据集，而 ${\mathcal{D}}^{\prime }$ 视为向每个元素添加了拉普拉斯噪声的数据集。因此，我们需要考虑添加的噪声对距离的影响。

具体来说，我们可以使用全局敏感度来度量添加的噪声对目标函数的影响。在这种情况下，我们可以发现，如果我们向每个元素添加的噪声 ${ϵ}_i$ 满足 $|{ϵ}_i|\le c/\lambda$，则目标函数是满足 $(2c/\lambda )$-全局敏感度的。这意味着添加的噪声对目标函数的最大影响不超过 $(2c/\lambda )||\mathcal{D}-{\mathcal{D}}^{\prime }|{|}_1$，从而满足 $(ϵ,\delta )$-差分隐私，其中 $\delta$ 取决于拉普拉斯机制的参数设置。

综上所述，将拉普拉斯噪声添加到 Latent Factor Models 的目标函数中可以保护合成数据的差分隐私。

以下是与上述相关的参考论文：

• Dwork, C. (2006). Differential privacy. In Proceedings of the 33rd International Colloquium on Automata, Languages and Programming (pp. 1-12).
• Dwork, C., & Roth, A. (2014). The algorithmic foundations of differential privacy. Foundations and Trends in Theoretical Computer Science, 9(3-4), 211-407.
• McSherry, F. (2009). Privacy integrated queries: an extensible platform for privacy-preserving data analysis. In Proceedings of the 2009 ACM SIGMOD International Conference on Management of data (pp. 19-30).
• Wang, Y., Zhang, Y., & Jin, R. (2015). Collaborative matrix factorization with multiple similarities for predicting drug-target interactions. In Proceedings of the 21th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining (pp. 1025-1034).