【论文笔记】Unsupervised Deep Features for Privacy Image Classification

摘要

        由于对隐私信息的不了解，在线共享图像对广泛的用户构成了安全威胁。深度特征已被证明是图像的强大表示。然而，深度特征通常存在尺寸大和需要大量数据进行微调的问题。与普通图像（例如场景图像）相比，隐私图像通常由于敏感信息而受到限制。在本文中，我们提出了一种新方法，可以在有限的数据上工作并生成更小尺寸的深度特征。对于训练图像，我们首先从预训练的模型中提取初始深度特征，然后采用 K-means 聚类算法来学习这些初始深度特征的质心。我们使用从训练特征中学习到的质心来提取每个测试图像的最终特征，并使用三角形编码对我们的最终特征进行编码。为了提高特征的可辨别性，我们进一步对从不同层获得的两个无监督深度特征进行了融合。实验结果表明，所提出的特征在分类精度和测试时间方面都优于最先进的深度特征。

1.介绍

        随着人们共享个人和私人图像的社交媒体在网络上的流行，隐私图像分类变得越来越重要。隐私图像分类系统允许人们知道他们共享的图像是隐私的还是公共的。隐私图像，如涉及家庭的图像，通常涉及用户的私人信息。相比之下，公共图像通常涉及场景、对象、动物等，不包括私人信息。隐私图像分类的目的是让人们在在线共享图像时保持警惕。有时，人们在分享自己的信息时可能不知道自己做的是对还是错。在这种情况下，能够对隐私和公共图像进行分类的系统对用户非常有用。

        对于图像分类，从图像中提取特征是一个基本步骤。 隐私图像对分类具有挑战性，因为它们可能包含高度的类内差异。 如图 1 所示，我们在两个类别（隐私和公共）中观察到它们都有这样的模式。 幸运的是，隐私图像只有两个类别，因此我们不需要像其他场景图像分类中那样考虑多于两个类别的变化模式[14]。

        一般来说，现有的隐私图像特征提取方法包括传统的基于视觉的方法[26]、基于深度学习的方法[19–23,27]和语义方法[13,15]。在比较传统的基于视觉的特征和基于深度学习的特征时，我们注意到，借助于从预先训练的深度学习模型中学习到的后一种特征，分类精度有了显著的提高。借助微调的深度学习模型，它甚至可以实现更高的分类精度，这需要大量数据[23]。然而，在隐私图像分类任务中，由于隐私问题，数据量非常有限。从这些模型的中间层模拟提取特征会使特征的大小更大，从而增加分类过程中的计算负担。综上所述，现有的隐私图像处理方法存在两个问题：1）特征维数灾难；2）如果我们想要获得一个微调模型或新的深度学习模型，则需要大量数据。因此，隐私图像分类任务特别需要有利于低特征尺寸和有限数据的特征提取方法。

        在本文中，我们提出了一种在无监督特征学习的帮助下提取隐私图像特征的新方法，该方法不仅可以处理有限数量的隐私图像，还可以产生较小的特征尺寸。受到 [20] 中工作的启发，作者声称预训练模型对隐私图像的微调模型的有效性，我们也在这项工作中选择了一个预训练模型。具体来说，在几个预训练的模型中，我们选择了 ResNet-50 [6] 模型，与 VGG和 GoogleNet [17]等最先进的深度学习模型相比，该模型对不同类型图像的分类具有更低的错误率 [12] 。此外，ResNet-50 的层数也比其他版本（ResNet-101 和 ResNet-152）少，因此速度更快。为了执行无监督特征学习，我们对从 ResNet-50 [6] 中提取的深度特征执行 K-means 聚类，该深度特征已经用大量标记图像数据集（即 ImageNet [4]）进行了预训练。然后，我们使用三角编码 [3] 对特征进行编码，以实现我们的无监督深度特征。