空间金字塔方法表示图像

原创 2015年07月07日 10:36:35

注:本学习笔记是自己的理解,如有错误的地方,请大家指正,共同学习进步。

本文学习自CVPR论文Discriminative Spatial Pyramid》、《Discriminative Spatial Saliency for Image Classification》及《Beyond Bags of Features: Spatial Pyramid Matching
for Recognizing Natural Scene Categories》,在此感谢论文作者。

空间金字塔方法表示图像是传统BOF(Bag Of Features)方法的改进,传统BOF方法提取图像特征时,首先提取每张图像的SIFT特征描述,之后将所有图像的兴趣点的特征描述进行聚类形成BOW视觉词袋,最后对每张图像统计所有视觉关键词出现的频次。因此BOF是在整张图像中计算特征点的分布特征,进而生成全局直方图,所以会丢失图像的空间分布信息,无法对图像进行精确地识别。为了克服BOF的这一缺点,提出了空间金字塔方法,它是在不同分辨率上统计图像特征点分布,从而获取图像的空间信息。 图像被划分为金字塔各水平上的逐渐精细的网格序列,从每个网格中导出特征并组合为一个很大的特征向量。

1、图像尺度空间

SIFT中的图像尺度空间可以理解为用高斯对图像做了卷积,图像的分辨率还是那么大,像素还是那么多,只是细节被平均(平滑)掉了,原因就是高斯了,用周围的信号比较弱的像素和中间那个信号比较强的点做平均,平均值当然比最强信号值小了,这就起到了平滑的作用。如下图所示:


尺度可变高斯函数:


2、图像金字塔

金字塔是图像多尺度表示的主要形式,图像金字塔是以多分辨率来解释图像的一种有效但概念简单的结构。一幅图像的金字塔是一系列以金字塔形状排列的分辨率逐步降低的图像集合。如下图所示。 


图像金字塔化一般包括二个步骤:1、利用低通滤波器平滑图像;2、对平滑图像进行抽样,从而得到一系列尺寸缩小的图像。

3、空间金字塔表示图像

Discriminative Spatial Pyramid

原始方法是首先提取原图像的全局特征,然后在每个金字塔水平把图像划分为细网格序列,从每个金字塔水平的每个网格中提取出特征,并把它们连接成一个大特征向量。但由于图像中每个局部区域反映的信息量不同,由此提出加权空间金字塔方法,及给每层每网格分配一个权重,按权重把每层每网格特征加权串联在一起。如下图:

左边图像是原始方法,右边是加权方法。

fkl表示第l层第k网格的特征向量,特征用d维向量表示,c(l)表示l层金字塔的网格数。原始方法中,一幅图像的空间金字塔特征向量表示为fs,如下:


加权方法表示为fw,如下:



4、空间金字塔匹配SPM

Beyond Bags of Features: Spatial Pyramid Matching for Recognizing Natural Scene Categories

空间金字塔匹配Spatial Pyramid Matching(SPM),是一种利用空间金字塔进行图像匹配、识别、分类的算法。

如下图所示,将level(i)的图像划分为pow(4,i)cellbins),然后再每一cell上统计直方图特征,最后将所有level的直方图特征连接起来组成一个vector,作为图形的feature





上面的黑圆点、方块、十字星代表一副图像上某个pitch属于k-means后词典中的某个词;

        1)将图像划分为固定大小的块,如从左到右:1*12*24*4, 然后统计每个方块中词中的不同word的个数;

        2)从从左到右,统计不同level中各个块内的直方图;

        3)最后个将每个level中获得的直方图都串联起来,并且给每个level赋给相应的权重,从左到右权重依次增大

        4)将SPM放入SVM中进行训练和预测;

       论文中的实验过程如下:

        1)用 strong feature detectorSIFT进行特征检测,patch size=16*16patch每次移动的步长spacing grid=8*8

        2)按照BOF相同的方法(即KMeans)构建包含Mwordsdictionary


3)利用图像金字塔把图像划分为多个scalesbins(空间金字塔分层分网格),然后计算落入每个bins中属于不同类别的word的个数,则图像XY最终的匹配度(M为关键词个数)(个人对此匹配度核函数的理解是:这个核函数可当作SVM中的核函数,来匹配两幅图像是否为一类)


版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/qustqustjay/article/details/46786075

Erdas遥感影像处理入门实战教程(GIS思维)

《Erdas遥感影像处理入门实战教程》以Erdas2010版本经典界面进行实战教学,设计12章内容,正式教学内容总共45课时,15个小时时长。从软件界面开始,到最后的高级应用,适合入门级、初级、中级的人员学习、工作、教师教学参考。课程根据作者实际工作经验,以及采访学员需求,开展课程设计,实用加实战,会是你学习路上的好帮手。
  • 2017年08月07日 14:00

深度学习笔记空间金字塔池化阅读笔记Spatial Pyramid Pooling in Deep Convolutional Networks for Visual Recognition

空间金字塔池化      空间金字塔池化层简介:                   在对图片进行卷积操作的时候,卷积核的大小是不会发生变化的额,反向调节的权重仅仅是数值会发生变化...
  • oppo62258801
  • oppo62258801
  • 2017-06-22 15:02:59
  • 562

SPM空间金字塔匹配模型

SPM:Spatial Pyramid Matching for Recognizing Natural Scene Categories 空间金字塔匹配     SPM即Spati...
  • maxiemei
  • maxiemei
  • 2014-12-21 13:01:30
  • 4501

CNN应用之SPP(基于空间金字塔池化的卷积神经网络物体检测)-ECCV 2014-未完待续

基于空间金字塔池化的卷积神经网络物体检测 原文地址:http://blog.csdn.net/hjimce/article/details/50187655 作者:hjimce ...
  • qq_26898461
  • qq_26898461
  • 2015-12-29 10:13:41
  • 3723

词袋模型和空间金字塔模型

本文首先对词袋模型和空间金字塔模型做一个简单的介绍。 1 词袋模型 李菲菲认为图像可以类比文档,图像的子块或特征点可以看作是单词,则可以统计图像中所有特征的直方图表示图像,即得到图像的BoW(bag ...
  • wei_guo_xd
  • wei_guo_xd
  • 2016-10-31 16:42:08
  • 2585

SPPNet

CNN网络需要固定尺寸的图像输入,SPPNet将任意大小的图像池化生成固定长度的图像表示,提升R-CNN检测的速度24-102倍。固定图像尺寸输入的问题,截取的区域未涵盖整个目标或者缩放带来图像的扭曲...
  • cv_family_z
  • cv_family_z
  • 2015-07-10 16:57:48
  • 14216

深度学习(十九)基于空间金字塔池化的卷积神经网络物体检测

空间金字塔池化,又称之为“SPP-Net”,记住这个名字,因为在以后的外文文献中,你会经常遇到,特别是物体检测方面的paper。这个就像什么:OverFeat、GoogleNet、R-CNN、Alex...
  • hjimce
  • hjimce
  • 2015-12-05 17:40:41
  • 12910

<em>空间金字塔</em>匹配

Spatial Pyramid Matching for Recognizing Natural Scene Categories <em>空间金字塔</em>匹配代码,matlab实现。
  • 2018年04月10日 00:00

SPP空间金字塔池化(Spatial Pyramid Pooling)

空间金字塔池化      空间金字塔池化层简介:                   在对图片进行卷积操作的时候,卷积核的大小是不会发生变化的额,反向调节的权重仅仅是数值会发生变化...
  • juronghui
  • juronghui
  • 2017-11-27 20:41:37
  • 319

图像金字塔分层算法

关于图像金字塔非常重要的一个应用就是实现图像分割。而快速初始分割可以先在金字塔高层的低分辨率图像上完成,然后逐层对分割加以优化。在某种分辨率下无法发现的特性在另一种分辨率下将很容易被发现。...
  • x454045816
  • x454045816
  • 2016-09-18 13:35:51
  • 2708
收藏助手
不良信息举报
您举报文章:空间金字塔方法表示图像
举报原因:
原因补充:

(最多只允许输入30个字)