在Latent Factor Models中添加拉普拉斯噪声的方式通常是在目标函数中引入拉普拉斯噪声,使得每个元素都有一定的概率被扰动。因此,在该模型中,我们可以将目标函数表示为:
argmin P , Q ∣ R − P Q T ∣ F 2 + λ n ∑ i , j = 1 n ∣ p i j ∣ + λ m ∑ i , j = 1 m ∣ q i j ∣ \text{argmin}{\mathbf{P}, \mathbf{Q}} | \mathbf{R} - \mathbf{PQ}^T |F^2 + \frac{\lambda}{n} \sum{i,j=1}^{n} |p{ij}| + \frac{\lambda}{m} \sum_{i,j=1}^{m} |q_{ij}| argminP,Q∣R−PQT∣F2+nλ∑i,j=1n∣pij∣+mλ∑i,j=1m∣qij∣
其中, R \mathbf{R} R 是观测矩阵, P \mathbf{P} P 和 Q \mathbf{Q} Q 分别是潜在因子矩阵和因子载荷矩阵, λ \lambda λ 是拉普拉斯分布的尺度参数, n n n 和 m m m 分别是 P \mathbf{P} P 和 Q \mathbf{Q} Q 的大小。
要证明合成数据满足差分隐私,我们需要考虑两个相邻数据集 D \mathcal{D} D 和 D ′ \mathcal{D}' D′ 之间的距离,即 ∣ ∣ D − D ′ ∣ ∣ 1 ||\mathcal{D} - \mathcal{D}'||_1 ∣∣D−D′∣∣1。在这种情况下,我们可以将 D \mathcal{D} D 视为无噪声的数据集,而 D ′ \mathcal{D}' D′ 视为向每个元素添加了拉普拉斯噪声的数据集。因此,我们需要考虑添加的噪声对距离的影响。
具体来说,我们可以使用全局敏感度来度量添加的噪声对目标函数的影响。在这种情况下,我们可以发现,如果我们向每个元素添加的噪声 ϵ i \epsilon_i ϵi 满足 ∣ ϵ i ∣ ≤ c / λ |\epsilon_i| \leq c/\lambda ∣ϵi∣≤c/λ,则目标函数是满足 ( 2 c / λ ) (2c/\lambda) (2c/λ)-全局敏感度的。这意味着添加的噪声对目标函数的最大影响不超过 ( 2 c / λ ) ∣ ∣ D − D ′ ∣ ∣ 1 (2c/\lambda)||\mathcal{D} - \mathcal{D}'||_1 (2c/λ)∣∣D−D′∣∣1,从而满足 ( ϵ , δ ) (\epsilon, \delta) (ϵ,δ)-差分隐私,其中 δ \delta δ 取决于拉普拉斯机制的参数设置。
综上所述,将拉普拉斯噪声添加到 Latent Factor Models 的目标函数中可以保护合成数据的差分隐私。
以下是与上述相关的参考论文:
- Dwork, C. (2006). Differential privacy. In Proceedings of the 33rd International Colloquium on Automata, Languages and Programming (pp. 1-12).
- Dwork, C., & Roth, A. (2014). The algorithmic foundations of differential privacy. Foundations and Trends in Theoretical Computer Science, 9(3-4), 211-407.
- McSherry, F. (2009). Privacy integrated queries: an extensible platform for privacy-preserving data analysis. In Proceedings of the 2009 ACM SIGMOD International Conference on Management of data (pp. 19-30).
- Wang, Y., Zhang, Y., & Jin, R. (2015). Collaborative matrix factorization with multiple similarities for predicting drug-target interactions. In Proceedings of the 21th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining (pp. 1025-1034).