2021_SLI_Privacy Leakage of SIFT Features via Deep Generative Model based Image Reconstruction

Abstract:

• 许多实际应用，例如基于文本的图像检索和目标识别在很大程度上依赖于从查询图像中提取的局部特征。由于这些局部特征通常会暴露给不可信的一方，因此图像局部特征的隐私泄露问题近年来获得了越来越多的注意力。在本文工作中，我们全面评估了SIFT的隐私泄露，它是对广泛使用的图像局部特征之一，我们首先考虑了一种情况，对手可以完全接触SIFT特征，即SIFT描述符和坐标都可用。我们提出了一种端到端、从粗到细的深度生成模型用于从SIFT特征重建潜在图像。设计的深度生成模型由两个网络组成，第一个是网络试图从SIFT特征到局部二值模式(LBP)特征的转换来学习潜影的结构信息，而第二个网络试图在学习到的LBP特征的指导下重建像素点。和最新的算法相比，提出的深度生成模型在三个公开数据集上的重建结果有了很大的改进。此外，我们还解决了更具有挑战性的情况，即对手只有部分SIFT特征(SIFT 描述符或者坐标)可以访问。结果表明，如果对手只能描述SIFT描述符而不是它们的坐标，那么对于高度结构化的图像（如人脸）可以获得重建潜在图像的适度成功。并且在一般情况下会失败。此外，仅从SIFT坐标就可以以相当好的质量重建潜影。我们的结果表明，如果SIFT坐标能够得到很好的保护，隐私泄露问题可以在很大成都上避免。SLI(SIFT_LBP_Image),that consists of two networks. The first network, called LBP reconstruction network, attempts to learn the structural information of the latent image by transforming from SIFT features to LBP features, while the second one aims to reconstruct the pixel values guided by the learned LBP.

Conclusions

• 在本文工作中，我们深入研究了广泛使用的SIFT特征的隐私泄露问题。我们首先考虑了Scenario I，对手可以完全访问SIFT功能。我们提出了一个深度生成模型SLI用于从SIFT特征中重建潜影。提出的模型由两个网络组成：一个是LBP重建网络，其目的是把SIFT转换为LBP特征，另一个是图像重建网络，其使用转换后的LBP作为指导生成重建结果。然后我们考虑ScenarioII，对手只能访问部分SIFT功能。我们设计了基于地标和基于参考的方法，用于从描述符估计SIFT特征。实验结果证明了该模型SLI在两种情况下的优越性，我们的结果还表明，在Scenario II下，隐私泄露问题在很大程度上可以避免，尤其是对手无法访问坐标时。