【论文笔记】Image Privacy Prediction Using Deep Neural Networks

摘要

        如今，越来越多的图片在Facebook、Flickr、Foursquare和Instagram等社交网站上在线共享。图像共享不仅发生在一群朋友之间，而且越来越多地发生在用户社交圈之外，用于社交发现。尽管目前的社交网站允许用户改变他们的隐私偏好，但这对于绝大多数网络用户来说往往是一项繁琐的任务，他们在分配和管理隐私设置方面面临困难。当这些隐私设置使用不当时，在线图像共享可能会导致恶意披露和侵犯隐私。因此，在将图像上传到社交网站之前，自动预测图像的隐私以警告用户隐私或敏感内容已成为当前互联世界的必要条件。

        在本文中，我们探索了学习模型，以使用仔细识别的图像特定特征自动预测适当图像的隐私为私人或公共。我们研究从卷积神经网络 (CNN) 的各个层派生的深度视觉语义特征，以及从深度 CNN 生成的用户标签和深度标签等文本特征。特别是，我们从四个用于对象识别的预训练 CNN 架构中提取深度（视觉和标签）特征，即 AlexNet、GoogLeNet、VGG-16 和 ResNet，并比较它们在图像隐私预测方面的性能。在所有四个网络中，我们观察到 ResNet 为这项任务产生了最好的特征表示。我们还在我们的隐私数据集上微调了预训练的 CNN 架构，并将它们的性能与在预训练特征上训练的模型进行了比较。结果表明，尽管使用微调网络获得的整体性能与预训练网络相当，但与在预训练特征上训练的模型相比，微调网络为私有类提供了改进的性能。我们在超过三万张图像的 Flickr 数据集上的实验结果表明，在从 ResNet 提取的特征上训练的学习模型在图像隐私预测方面优于最先进的模型。我们使用两种设置进一步研究了从 CNN 架构派生的用户标签和深度标签的组合：（1）标签袋特征上的 SVM； (2) 基于文本的 CNN。我们将这些模型与针对隐私预测获得的 ResNet 视觉特征训练的模型进行比较。我们的结果表明，尽管在视觉特征上训练的模型比在标签特征上训练的模型表现更好，但深度视觉特征与图像标签的组合显示出对单个特征集的性能改进。我们在实验中使用的代码、功能和数据集可在 https://github.com/ashwinitonge/deepprivate.git 获得。

1.介绍

        通过Face book、Flickr和Instagram等社交网站进行的在线图像共享正在上升，私人或敏感图像的共享也在上升，当这些平台使用不适当的隐私设置时，这可能会对用户的隐私造成潜在威胁。许多用户很快就分享了自己、家人和朋友的私人图像，而没有仔细考虑不必要的披露和隐私侵犯的后果[Ah ern等人，2007年；Zerr等人，2012b]。例如，现在在鸡尾酒会上拍照并毫不犹豫地在社交网站上分享是很常见的。智能手机可以在任何时候与世界各地的人共享照片。这些照片可能会揭示用户的个人和社会习惯，并可能会损害照片所有者的利益。

        Gross 和 Acquisti [2005] 分析了 4,000 多名卡内基梅隆大学学生的 Facebook 个人资料，并概述了对隐私的潜在威胁。作者发现，用户经常在社交网站上慷慨地提供个人信息，但他们很少更改默认隐私设置，这可能会危及他们的隐私。在一项平行研究中，Lipford 等人 [2008]表明，虽然目前的社交网站允许用户改变他们的隐私偏好，但绝大多数网络用户在分配和管理隐私设置方面面临困难。有趣的是，Orekondy 等人 [2017]研究表明，即使用户更改隐私设置以符合个人隐私偏好，他们也经常误判图像中的隐私信息，从而无法强制执行自己的隐私偏好。毫不奇怪，如今的雇主经常使用社交网络对其未来员工进行背景调查，并且大约 8% 的公司已经解雇了员工，因为他们在适当的社交媒体内容中存在 [Waters 和 Ackerman 2011]。皮尤研究中心进行的一项研究报告称，11% 的社交网络用户对发布的内容感到遗憾 [Madden 2012]。 Facebook 的 AI 研究主任 Yann LeCun [2017] 敦促开发数字助理，在令人尴尬的照片在社交网络上与所有人分享之前警告人们注意私人或敏感内容。

        从图像中识别私人或敏感内容本身就很困难，因为图像的隐私取决于所有者的个性特征和他们对隐私的意识水平。尽管如此，图像的隐私并不是纯粹主观的，而是普遍存在的隐私模式。例如，考虑图1中所示的图像，这些图片是由Zrr等人[2012b，A]进行的一项研究中手动注释和始终被多个注释者评定的私有和公开的图像。请注意，人们的出现通常指向私人图像，尽管这并不总是正确的。例如，一个乐队在音乐会上的形象被认为是公开的。同样，没有人在里面的图像可能是私人的，例如，带有门钥匙、音符、法律文件或某人的艺术的图像被认为是私人的。事实上，Laxton等人[2008]描述了一种“远程复制攻击”，允许对手仅从图像创建物理密钥副本。

        研究人员表明，当考虑对大量图像进行分析并研究基于用户标签和图像内容特征（如SIFT（尺度不变特征变换）和RGB（红绿蓝））的二元预测模型时，可以自动识别图像隐私的一般模式[Squiccariniet等人，2014年，2017a；Zerr等人，2012b]。最近，一些研究[Tonge and Caragea 2015、2016、2018；Tran et al.2016]开始探索隐私框架，利用进化神经网络（CNN）的优势进行对象识别，因为直观上，图像中的对象会显著影响图像的隐私（如图1所示）。然而，这些研究仅在小数据集上使用CNN的AlexNet体系结构。到目前为止，已经开发了许多深度CNN架构，并在对象识别方面实现了最先进的性能。这些CNN包括谷歌网 [ Szegedy et al.2014]、VGG-16 [ Simonyan and Zisserman 2014]和ResNet [ He et al.2016a]（以及Lexnet [Krizhevsky et al.2012]）。为此，在本文中，我们提出了一项广泛的研究，以仔细识别CNN的结构和从这些CNN衍生的特征，这些CNN可以充分预测私有或公共图像的类别。我们的研究是基于这样一个事实，即越来越多的在线用户的隐私被社交和内容共享应用程序所破坏[Zheleva和Getoor，2009]。我们的模型可以帮助用户更好地管理他们参与在线图像共享网站的情况，方法是从图像中识别敏感内容，以便普通用户更容易控制他们通过这些图像共享的个人信息量。

我们的贡献如下：

• 我们研究了在ImageNet数据集上预先训练的CNN结构的深层视觉语义特征和深层图像标记，并将其与支持向量机（SVM）分类器结合使用，用于图像隐私预测。具体来说，我们从四个成功的（预先训练的）CNN对象识别体系结构中提取深层特征，AlexNet、GoogLeNet、VGG-16和ResNet，并比较它们在隐私预测任务中的性能。通过精心设计的实验，我们发现与其他CNN相比，ResNet产生了最好的隐私预测特征表示。
• 我们在privacy数据集上微调预先训练好的CNN架构，并使用softmax函数预测图像的隐私。我们将微调后的CNN与基于预训练CNN的特征获得的SVM模型进行了比较，结果表明，尽管微调后的CNN获得的总体性能与SVM模型相当，与基于预训练特征训练的SVM模型相比，微调网络提高了私有类的召回率。
• 我们表明，ResNet 产生的最佳特征表示优于图像隐私预测的几个基线，这些基线考虑了基于 CNN 的模型和基于 SIFT 和全局 GIST 描述符等传统视觉特征训练的 SVM 模型。
• 接下来，我们在两种设置中研究从 CNN 派生的用户标签和深度标签的组合：（1）在标签袋特征上使用 SVM； (2) 将文本 CNN [Kim2014] 应用到用户标签和深度标签的组合上，使用 softmax 函数进行隐私预测。 我们将这些模型与从 ResNet（从我们的研究中获得）中提取的最有希望的视觉特征训练的模型进行比较，以进行隐私预测。 我们的结果表明，在视觉特征上训练的模型比在标签特征上训练的模型表现更好。
• 最后，我们探讨了深度视觉特征与图像标签的结合，并展示了与单个特征集相比在性能上的进一步改进。

        论文的其余部分组织如下。我们在第2节中总结了前期工作。在第3节中，我们将详细描述problemstatement。第4节描述了从各种CNN获取的用于隐私预测的图像特征，而在第5节中，我们提供了用于评估模型的数据集的详细信息。在第6节中，我们介绍了实验并描述了实验设置和结果。我们在第7节中完成了分析，在这里我们简要讨论了我们的主要发现、我们工作的有趣应用、未来方向，并总结了本文。

2.相关工作

        社交网络中新出现的隐私侵权行为已经开始吸引众多研究人员进入这一领域[Zheleva和Getoor，2009]。研究人员还向公众提供了与在线共享图像相关的隐私风险意识[Henne等人，2013年；Xu等人，2015年]。按照这一思路，开展了几项研究工作，以研究用户在社交网络中的首要问题、关于共享资源的隐私决定以及与之相关的风险[Ghazinour等人2013年；Gross and Acquisti 2005年；Ilia等人2015年；Krishnamurthy and Wills2008年；Parra Arnau等人2014年；Parra Arnau等人2012年；Simpson2008年]。

        此外，一些关于隐私分析的著作研究了移动和在线照片共享中的隐私决定和考虑因素[Ahern等人，2007年；Besmer和Lipford，2009年；Gross和Acquistic2005年；Jones和O'Neill，2011年]。例如，Ahern等人[2007]探讨了隐私的关键方面，如用户对隐私决策的考虑、基于内容和上下文的隐私决策模式，以及不同用户如何调整其隐私决策和个人信息披露行为。作者得出结论，应该开发能够支持和影响用户隐私决策过程的应用程序。Jones andO'Neill[2011]强调了隐私相关图像概念的作用。例如，作者确定人们更不愿意分享拍摄社会关系的照片，而不是出于功能目的拍摄的照片；某些设置（如工作、酒吧、音乐会）会导致用户共享较少。Besmer和Lipford[2009]表示，用户希望重新控制其共享内容，但与此同时，他们认为为每个图像配置适当的隐私设置是一种负担。

        最近，与我们的工作相关的是自动化图像隐私方法，该方法已在四条研究路线上进行了探索：基于社交组的方法，其中用户档案用于将好友列表划分为多个组或圈，假设来自同一圈子的朋友有相似的隐私偏好；基于位置的方法，其中位置上下文用于控制基于位置的隐私披露；基于标签的方法，其中标签用于隐私设置建议；和基于视觉的方法，其中图像的视觉内容用于隐私预测。

        基于社会群体的方法。出现了一些基于社会群体或圈子为在线共享图像提供自动隐私决策的作品 [Bonneau et al.2009a,b; Christinet al.2013；丹尼兹 2009； Fang 和 LeFevre 2010；乔希和张 2009； Kepez 和 Yolum 2016； Klemperer 等人，2012； Mannan andvan Oorschot 2008； Pesce et al.2012; Petkos 等人，2015； Squicciariniet al.2012、2015、2009；沃森等人，2015；袁等人，2017； Zerr et al.2012b]。例如，克里斯汀等人[2013]提出了一种在隐私气泡内与用户共享内容的方法。隐私气泡代表用户的私人领域，并且对内容的访问由气泡创建者提供给气泡内的人。 Bonneau et al.[2009b] 引入了隐私套件的概念，它向用户推荐一组“专家”用户或受信任的朋友已经建立的隐私设置，以便普通用户可以直接接受设置或仅执行较小的修改。 Fang 和 LeFevre [2010] 开发了一个隐私助手来帮助用户向他们的朋友授予权限。该方法将所选朋友的隐私偏好作为输入，然后使用这些标签构建一个分类器，根据他们的个人资料将隐私标签分配给其余（未标记的）朋友。 Danezis [2009] 基于社交圈内产生的信息应保留在该圈内的政策生成隐私设置。沿着这些思路，Adu-Oppong 等人 [2008]通过对用户的朋友列表进行分区形成朋友集群来获得隐私设置。袁等[2017]提出了一种上下文相关和隐私感知的照片共享方法。该方法使用照片的语义和请求者的上下文信息来定义是否在特定上下文中授予对照片的访问权限。这些基于社会群体的方法大多考虑用户的可信度，但忽略了图像内容的敏感性，因此，它们可能没有必要为在线图像提供适当的隐私设置，因为隐私偏好可能会根据图像内容的敏感性而改变。

        基于位置的方法。这些方法 [Baokar 2016; Bilo-grevic et al.2016; Choi et al.2017;费舍尔等人，2012；弗洛伊迪格等人，2012；弗里德兰和萨默 2010； Olejnik 等人，2017； Ravichandranet al.2009； Shokri 等人，2011； 2014 年；袁等人，2017； Zhaoet al.2014] 利用地理标签、视觉地标和其他位置上下文来控制基于位置的隐私披露。地理标签可以通过社交标签手动提供，也可以通过具有 GPS 的数码相机或智能手机自动添加位置信息。也可以通过计算机视觉技术从共享图像中识别位置来推断位置。

        基于标签的方法。以前在基于标签的访问控制策略和图像隐私预测方面的工作 [Apos-tolova and Demner-Fushman 2009; De Choudhury 等人，2009；