图像物体中心点_基于深度学习特征的图像检索方法

来源：任夏荔，陈光喜，曹建收，蔡天任，计算机工程与设计，2018.

摘要：针对图像高维特征占用巨大存储空间的问题，考虑到其中一些特征存在高度相关性，提出一种基于深度学习特征的图像检索方法。利用卷积神经网络，提取基于深度学习的图像特征；通过分析特征本身存在的相关性，采用主成分分析算法，对特征降维的同时尽量降低信息的损失；在此基础上对特征进行哈希编码，利用编码做快速图像检索。Caltech101和Caltech256数据集上的实验结果表明，相比直接使用原始深度特征进行编码检索，所提方法的检索性能更好。

关键词：图像检索；卷积神经网络；深度学习；主成分分析；哈希编码

引言

基于内容的图像检索(CBIR)是指，在给定查询图像的前提下，无需人工对图像进行注释，依据图像本身包含的像素信息、颜色、纹理、形状、空间关系等客观视觉特征，在图像数据库中搜索并查找出符合查询条件的相应图像。其中最基本的问题之一就是如何实现对图像的有效表达，正因为如此，关于特征的提取和表达一直得到了广泛关注。传统的特征表示往往需要根据先验知识手工来提取，工作量大，效果不尽人意，同时也不符合智能化的要求。出现以上结果的一个关键原因在于可被计算机识别的低水平的图像像素和人类感知的高水平语义概念之间存在语义鸿沟。如何缩小甚至跨越这一鸿沟，便成为了当前特征表示的研究重点。Hinton等[1]采用深度学习赢得了ImageNet图像分类的比赛，验证了深度学习特征是比传统的人工特征更具优势的特征表示方法。如今，基于深度学习的特征表示在很多方面都有广泛的应用，具有代表性的包括声音、文本信息的处理[2-4]，以及图像分类[1]、图像识别[5,6]、目标检测[7-10]。

在图像处理领域，被广泛使用的基于深度学习的特征是通过卷积神经网络(CNN)提取的，CNN的设计是受大脑工作模式的启发，将多个神经元组织成一层层的神经网络，通过组合低层单一的特征形成抽象的高层特征，模仿人脑的机制来解释数据。通过CNN提取的图像特征往往高达几千维，而且其中一些特征之间存在高度的相关性。

本文针对CNN特征的这一特点，采用一种特殊的方式———主成分分析(PCA)来处理提取的CNN特征。PCA主要用于数据的降维，但它并不是盲目删除一部分特征，而是通过组合那些存在相关性的特征来达到降维的目的，即在减少图像特征数量的同时，尽量降低信息的损失；然后，对经过主成分分析后的特征进行哈希编码，通过比较目标图像编码与图像库中图像编码的海明距离，判断两幅图像是否相似，从而实现图像检索。通过实验，在一定程度上说明了采用本文的方法，比直接使用所有特征进行编码检索，其检索性能更好。

相关工作

近些年来，在计算机视觉领域，人们使用人工特征提取的方式，例如SIFT、HOG，作为特征提取的主流方法，取得了一定的成果，但其效果依然不能令人满意。在2012年ImageNet比赛中，Krizhevsky等[1]用CNN将120万张带标签的图片进行分类，且取得了很高的准确率，获得了当年的冠军。从此以后，基于CNN的研究进行得如火如荼。

CNN对图像中的目标检测也带来了大幅度的提升，目标检测需要确定每个物体的位置和类别。被广泛采用的基于深度学习物体检测流程是在RCNN[10]中提出的。首先采用selective search的方法提出候选区域，利用深度卷积网络从候选区域取特征，然后利用支持向量机等线性分类器进行分类。structObj+FGS[8]是着重于准确定位方面的研究，两个改进之处相互补充，mAP在原来的基础上有了更进一步的提升。

在图像检索中，Kongkai Xia等[13]提出了一种可以同时