场景分类MATLAB代码实现

前面对论文《A Bayesian Hierarchical Model for Learning NaturalScene Categories》 进行了讲解,现在可以结合代码来看。

需要声明的是,下面的代码只是一个场景分类的demo,它和论文中提到的思想不一样,但它们可以帮助我们更好地理解论文。


原始代码是基于视觉词袋模型BOW的MATLAB实现的。整个程序的流程如下:

利用Dense-SIFT对图像进行特征提取 -> 利用K-means算法形成K个聚类中心,构成字典dictionary  -> 对图像进行直方图统计得到BOW -> 利用SVM进行分类 –> 预测图像类别

 

含该SIFT特征提取的代码可在github上下载:

 自然场景分类代码

 

除此之外,我将代码中的SIFT特征提取变为HOG特征提取,并比较了两者的精确度。

含该HOG特征提取的代码可在github上下载:

 自然场景分类代码

 

这里提供该代码所用技术的介绍:

词袋模型BOW:

https://wenku.baidu.com/view/6370f28d26fff705cc170aab.html

https://wenku.baidu.com/view/7782de2fc281e53a5902ff03.html

Dense-SIFT:

http://blog.csdn.net/happyer88/article/details/46622657

HOG:

http://blog.csdn.net/dulingtingzi/article/details/51488060

SVM:

https://www.analyticsvidhya.com/blog/2017/09/understaing-support-vector-machine-example-code/

libsvm:

http://www.cnblogs.com/dawnminghuang/p/3825229.html

http://blog.csdn.net/on2way/article/details/47733861


现在结合代码讲一下Dense-SIFT/HOG + BOW模型建立过程:

1、如果利用sift特征提取算法,从每张图片中提取特征点也就是视觉单词。在代码中,比如有些图片大小是200*200,然后步长是8,将图片分成16*16的小patch,这样就有576个小patch,在每个小patch上都进行sift提取关键点,每个小patch上有一个关键点,这样就有576个关键点,也就是每张图片最终变成了576个128维的向量(sift特征点是128维的),也就是576*128这样大小的一个矩阵。图片包括训练样本和测试样本一共有360张图片,所以数据一共就是360*576*128。

(如果利用hog特征提取算法,从每张图片中提取特征点也就是视觉单词。在代码中,比如有些图片大小是200*200,然后cell大小是8(步长也默认为1个cell)。将图片分成25*25的小cell,这样就有625个小cell。在每个小cell上都进行hog提取关键点。然后,每2*2(取其他也可以)个cell合成一个block,所以这里就有(25-1)*(25-1)=576个block。所以每个block中都有2*2*9个特征(9是梯度方向的个数),一共有576个block,所以总特征为576*36的一个矩阵。图片包括训练样本和测试样本一共有360张图片,所以数据一共就是360*576*36)

2、利用K-means进行聚类,构建字典dictionary。在代码中是找了300个聚类中心,也就是300*128(在hog中是300*36),聚类中心个数的选取从几百到上千不等,一般数据越大,聚类中心越多。聚类的数据是训练数据240*576*128(在hog中是240*576*36)和测试数据120*576*128 (在hog中是120*576*36),最大迭代次数100,聚类完成后得到300个聚类中心,每个是1*128维(在hog中是1*36维)的向量。

3、利用得到的聚类中心得到词汇表以后,对360张图片进行直方图统计,也就是看每张图片中的576个关键点与哪个聚类中心的距离最小(最相似),然后再最近的那个聚类中心所代表的1-300之间的数上加1,这样最终得到了BOW的数据300*360大小的矩阵,这里面300*240是训练数据,300*120是测试数据。


注意由于这里每张图片的关键点的数目都是一样的,所以归一化的影响并不是特别的关键,但是如果每张图片上关键点的数目不是一样的,那就必须进行归一化,也就是将词数变成词频,就是除以总点数。

 

以上是基本的BOW建立的过程,作者的程序中有一个构造了pyramid_BOW的程序CompilePyramid。 BOW与pyramid BOW在统计每张图的词频时是一样的 ,关键是对这些词频的处理不一样,BOW是全局进行统计词频,而pyramid BOW如名字所示,是分层次的,在代码中,是首先将图片分成4*4小块,对每小块进行300个聚类中心的词频统计,并用2^-1进行加权,然后在将图片分成2*2小块进行300个聚类中心的词频统计,并用2^-2进行加权,最后再对整个图片全局的直方图进行直方图统计,并用2^-2进行加权,最后将这些直方图连在一起,这样最终的数据是6300*360这样的数据去进行训练(6300=(4*4+2*2+1*1)*300)。 也就是说,源程序里面是有两种词袋的数据结果,BOW和pyramid_BOW.

 

精确度评估(Dense-SIFT):

1.      BOW+径向基核函数的SVM进行分类,精度是77.5%;

2.      Pyramid_BOW+径向基核函数的SVM进行分类,精度是82.5%;

作者又自己定义了一种核函数,称之为inter。

3.      BOW+inter核函数的分类精度是81.6667%;

4.      Pyramid_BOW+inter核函数的分类精度是最高的,为90.8333%。

 

下面是SIFT+Pyramid_BOW+inter的分类结果:

 


混淆矩阵的概念在论文中已经讲了。在这里我们看到,Phoning类有90%分类正确,10%被错误地分到RidingHorse中。(横着看)

 

下面是HOG+Pyramid_BOW+inter的分类结果:

 


这个是没有调参数的结果。效果我就不吐槽了,有兴趣可以尝试调调参数什么的。


这里给大家留一个问题:为什么在自然场景分类中HOG特征提取的效果不如Dense-SIFT特征提取的效果?

评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值