基于HOG-LBP特征融合的头肩检测研究

from: http://www.hqew.com/tech/fangan/1721922.html

摘  要： 提出了一种基于HOG-LBP特征融合的人体头肩检测方法，其要点是将人体头肩图像等分为多个部分重叠的块，从每个块内提取HOG和LBP特征并加以融合，以得到更有效的人体头肩的边缘轮廓和纹理特征，融合后的特征送入支持向量机SVM（Support Vector Machine）通过Bootstrapping的方式进行训练，得到最终的判别模型。实验结果表明，该方法的检测效果优于基于单一HOG、LBP特征的方法。

　　关键词： 梯度方向直方图；局部二值模式；头肩检测；支持向量机

0 引言

　　近年来，行人检测是计算机视觉、图像处理、模式识别领域中一个十分重要的研究方向。传统的行人检测特征提取方法都将人体目标作为一个整体，从大量包含人体目标的图像集中学习并提取整体特征，然后采用统计分类技术进行目标检测与分类。然而这种识别方法由于没有利用图像中人体的局部信息，比如人体目标存在局部遮挡、姿态发生较大变化等情况下，会导致整体特征的显著变化，对人体目标检测的准确性造成很大的影响。由于人体头肩呈现比较固定的类似“Ω”形状和不易被遮挡等优点，为行人的准确检测提供了先决条件。

　　当前头肩检测大致分为基于知识的方法和基于统计学习的方法。在基于知识的方法方面，MERAD D[1]等人提出利用骨架图的方法检测头肩，该方法首先是前景图像的提取，然后用骨架描述前景图像，接着在骨架图中找到人体的头部。Chen Juan[2]等人假定头肩为俯视图像并接近圆形，通过Hough圆检测头肩轮廓，然后把检测到的轮廓与YUV颜色空间的U、V颜色直方图匹配，从而实现头肩的检测与定位。在基于统计学习的方法方面，Li Min[3]等人提出基于Haar特征的级联分类器和局部HOG特征的AdaBoost分类器的先粗后细的筛选来检测头肩；Li Zhixuan[4]等人采用Edgelet和LBP特征融合，送入real AdaBoost构造头肩检测分类器等等。

　　由于现实中的头肩颜色、轮廓等先验知识存在较大差异，无法用统一的形式来描述。但是可以选用基于统计模式识别的方法，通过对大量样本的学习来获得头肩的描述规则，自动分析头肩与非头肩的细微差别。基于此，本文根据人体头肩的特点，提出了一种基于HOG-LBP特征融合的人体头肩检测方法。

1 相关特征介绍

　　1.1 HOG特征

　　HOG描述是在一个网格密集、大小统一的细胞单元（Cell）上计算，并且为了提高性能，还采用了重叠的局部对比度归一化技术。其主要思想是：在一幅图像中，局部目标的表象和形状能够被梯度或边缘的方向密度分布很好地描述。按照Dalal[5]提出的方法，HOG特征提取方法包括5个步骤：颜色空间Gamma校正、计算梯度、统计单元内的方向梯度、重叠块内的梯度强度的归一化、块内直方图组合成HOG特征向量。下面简要介绍以上五个步骤。

　　（1）颜色空间Gamma校正

　　为了减少光照因素的影响，一般情况下，首先需要将整幅图像进行归一化。但是后来研究人员通过实验发现，颜色空间标准化处理对实验结果影响不大，分析其原因，可能是接下来的计算过程中的特征归一化处理也能达到相似的效果。这样在实际应用中，这个计算步骤可以省略。

　　（2）梯度的计算

　　设像素（x，y）处的灰度值为I，梯度幅值为G，梯度方向为?兹，采用[-1，0，1]的一维中心梯度算子，计算水平方向和垂直方向的梯度分别如下：

　　

　　对于RGB彩色图像，即对每个颜色通道计算梯度，选取梯度幅值最大的颜色通道所对应的梯度作为该像素点的梯度。

　　（3）将图像窗口区域划分成均匀分布的单元（如8×8像素大小的单元），每相邻的2×2单元组合成一个小区域块。在小块内的每个像素以幅值作为权值投票到近邻单元直方图的相应梯度方向柱里。不考虑梯度方向的正负，即将方向转化到0°~180°内，直方图取9个方向柱。

　　（4）对每一个小块的直方图进行归一化，能够对光照、阴影、边缘对比度等具有更好的不变性。由于每个小块有4个9维的直方图，归一化后即得到该小块36维的特征向量。假设ν为归一化的特征向量，常用归一化方法有：①L2-norm归一化：，其中ε是很小的常数，避免分母为0。②L2-Hys归一化：对L2-norm的结果，若有元素大于0.2，则将其减小为0.2，之后再进行一次L2-norm。

　　（5）将所有小块的特征向量串联起来，形成窗口的HOG特征。

　　1.2 LBP特征

　　LBP[6]最早是作为一种有效的纹理描述算子提出来的，由于其对图像局部纹理特征的卓越描绘能力而获得了十分广泛的应用。LBP算子的特点是计算高效、判别性强且对单调的灰度级变化具有不变性。

　　基本的LBP算子是对于图像中的每一个像素点，以该点的灰度值作为阈值，对其3×3邻域内的像素灰度值作比较，若周围8个像素点的值大于阈值，则为1，否则为0。按照一定的顺序比较，得到一个8位的二进制数，以此二进制数作为对该像素点的响应。图1所示为提取过程。

　　其计算公式如下：

　　

　　后来，基本LBP算子被进一步推广为使用不同大小和形状的邻域。采用圆形的邻域并结合双线性插值运算，从而可以获得任意半径和任意数目的邻域像素点。图2给出几种不同圆形邻域的LBP算子。

　　其中P是采样点的数目，R是采样半径。

　　对于一个局部二进制模式，在将其二进制位串视为循环的情况下，如果其中包含的从0到1或者从1到0转变不超过2个，这样局部二进制模式统一为一致性模式。例如模式00000000（0个转变）和01110000（2个转变）都是一致性模式。而模式00100010（4个转变）和01010011（6个转变）都是非一致性模式。经过映射，编码方式由256种缩短为59种，使得特征向量的维数减少。当背景中噪声边缘成分多时，HOG特征的表现不足，而LBP算子的一致性模式可滤除这类噪声，弥补这一缺陷。将各个一致性模式对应到直方图柱，而所有的非一致性模式都归为一个柱。

2 HOG-LBP特征融合

　　特征提取是人体头肩检测中最为关键的环节之一，提取具有鉴别意义的特征对准确检测人体头肩起着重要作用。特征融合技术既融合了多种特征的有效鉴别信息，又能消除大部分冗余的信息，从而实现了信息的有效压缩，节约了信息存储空间，有利于加快运算速度和进行信息的实时处理。目前常用的特征融合方法为串行融合和并行融合。

　　设模式样本空间?赘上存在两个不同的特征空间A、B，对于任意模式样本ε∈?赘，设它对应的两个特征向量分别为?琢∈A和?茁∈B，串行融合后的特征矩阵?酌=（?琢，?茁）。若特征向量?琢和?茁分别为n和m维，由组合原理可知，其组合后的串行特征空间为（n+m）维。并行融合后的特征矩阵?酌=?琢+i?茁，其中i为虚数单位。若两组特征的维数不等，则低维的特征向量用零补足，此时特征矩阵维数为max{dim（A），dim（B）}。

　　串行特征向量的计算过程如图3所示，分别计算HOG特征直方图和LBP特征直方图，串行连接形成联合直方图。

3 实验过程及结果分析

　　3.1 实验样本

　　为了测试HOG特征和LBP特征融合的有效性，建立了一个基于行人头肩的数据库。数据库图片大多通过现有的行人样本集，手工抠取人体头肩区域形成样本图片，用于训练与测试。原始行人及负样本集来自INRIA、MIT样本集以及网上收集的一些人物图片。训练库包含了2 500个正样本和5 500个负样本，部分正样本图片如图4所示。

　　3.2 样本HOG和LBP特征计算以及融合

　　本文实验中，样本HOG特征计算步骤：对正负样本集中每一幅大小32×32的灰度图片（这里采用灰度图片是考虑计算量大小的影响，并且对最终的检测结果影响微小），计算矩形HOG特征描述子R-HOG，设定的Cell大小为8×8，Block的大小为16×16，滑动步长是以一个Cell的宽度大小，HOG特征计算的具体过程如下：

　　（1）为了减少光照等的影响，首先对样本图像进行Gamma标准化，本实验中这一步骤省略。

　　（2）计算灰度图像中各个像素点x方向和y方向的梯度，采用简单的[-1，0，1]模板计算梯度的方向和幅值。

　　（3）在每个Cell内，设定投影方向为9个bin，用各个像素点的梯度幅值作为权重，投票统计各Cell的梯度方向加权直方图，此直方图的维数为9。

　　（4）对一个Block（Block之间有重叠）内的4个Cell采用L2-norm进行归一化处理，然后统计4个Cell的梯度直方图，维数为36。

　　（5）每幅图像需要计算HOG特征向量的Block数目为：（（32-16）/8+1）（（32-16）/8+1），最后串联图像中所有的Block，计算得到的HOG特征向量的维数是：9×36=324维。

　　本实验中，样本LBP特征计算步骤：对正负样本集中每一幅大小为32×32的灰度图片，采用基于滑动窗口的LBP特征提取。滑动窗口针对图像算法的一般描述如下：在一幅大小为W×H的图像中，按一定规律移动w×h的窗口（W>>w，H>>h），对窗口内像素点进行一系列运算，运算结束后窗口向右或向下移动一步，直至完成对整幅图像的处理。设定窗口的大小为16×16，并设定窗口在水平方向和垂直方向的滑动步长为窗口宽度的一半。LBP特征计算的具体过程如下：

　　（1）对于每个窗口中的一个像素，采用算子LBP（表示半径为1、含8个邻域的环形，均匀模式）来计算LBP特征值。

　　（2）根据窗口内计算的LBP特征值，计算每个窗口的直方图，即每个LBP特征值出现的次数，然后采用L2-norm进行归一化处理，此直方图的维数为59。

　　（3）每幅图像需要计算LBP特征向量的窗口数目为：（（32-16）/8+1）（（32-16）/8+1），最后串联图像中所有窗口的统计直方图，计算得到的LBP特征向量的维数是：9×59=531维。

　　最后，将样本HOG特征向量和LBP特征向量串行连接形成联合特征向量。

　　3.3 分类器训练

　　在目标检测分类器算法中，应用比较广泛的是线性SVM和AdaBoost算法。SVM在分类器过程中主要通过核函数，将线性不可分的低维空间转换为线性可分的高维空间，但训练过程中，容易出现数据分类失衡的问题。本文选择了线性SVM分类器训练，并且使用交叉验证的方法选择SVM最优参数，使分类器对输入的训练样本分类精度最高。

　　3.4 实验结果与分析

　　本文用HOG特征、LBP特征以及本文的HOG-LBP融合特征，结合SVM分类器进行实验。实验测试图像大小为352×384，算法基于OpenCV2.4.9修改，运行在VS2012环境下，Inter Core i3-3220（3.30 GHz）的四核处理器和4 GB内存的电脑上。实验结果如表1所示。

　　分析表1可知，采用SVM分类器进行训练，HOG-LBP融合特征与HOG特征、LBP特征相比，能有效地降低误检率和漏检率，但是由于融合特征的维数增加，融合特征检测时间比单一特征的检测时间要长。

　　基于本文的HOG-LBP特征融合，结合SVM分类器，对INRIA库测试集图像进行多尺度遍历后的识别效果如图5所示，其中图5（a）、图5（b）都进行了较为准确的多目标检测，其中图5（a）中的人体头肩有部分遮挡也可检测出，图5（b）中远处的人体头肩也可检测出。图5（c）和图5（d）展示了部分误检与漏检，漏检是由于人体头肩的形变过大或遮挡引起，误检则是因为物体的轮廓与人体头肩轮廓很相似。

4 结束语

　　本文提出了一种基于HOG-LBP融合特征的人体头肩的检测方法，融合的特征不仅准确地表征了人体头肩轮廓信息，而且能够对人体头肩轮廓纹理有很好的描述。实验结果表明，本文所提的算法可以达到较好的识别效果。

参考文献

　　[1] Zheng Jin， Zhang Wan， Li Bo. Pedestrain detection based on background modeling and head-shoulder recognition[C].IEEE International Conference on Wavelet Analysis and Pattern Recognition（ICWAPR），2012：227-232.

　　[2] Chen Juan， Wen Quan， Zhuo Chenglong， et al. Automatic head detection for passenger flow analysis in bus surveillance videos[C]. International Congress on Image and Signal Processing（CISP）.2012：143-147.

　　[3] Li Min， Zhang Zhaoxiang. Rapid and robust human detection and tracking based on omega-shape feature[C]. IEEE International Conference on Image Processing（ICIP），2009：2545-2548.

　　[4] Li Zhixuan， Zhao Yanyun. Pedestrian detection in single frame by edgelet-LBP part detectors[C]. IEEE International Conference on Advanced Video and Signal-Based Surveillance（AVSS），2013：420-425.

　　[5] DALAL N， TRIGGS D. Histograms of oriented gradients for human detection[C]. Proceedings of Conference on Computer Vision and Pattern Recognition， San Diego， 2005：886-893.

　　[6] OJALA T， PIETIKAINEN M， MAENPAA T. Multiresolution gray-scale and rotation invariant texture classification with local binary pattern[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2002，24（7）：971-987.

　　[7] 顾炯，赵曙光，王宏斌.基于Joint HOG特征复杂场景下的头肩检测[J].电子设计工程，2012（7）：58-62.

　　[8] 黄炎，范赐恩，朱秋平，等.联合梯度直方图和局部二值模式特征的人体检测[J].光学精密工程，2013（4）：1047-1052.

　　[9] Zhao Yang. Theories and applications of LBP： a survey[C].Zhengzhou： 7th International Conference on Intelligent Computing，2012：112-120.

　　[10] AHONEN T， ABDEOUR H， MATTI P. Face recognition with local binary patterns[C]. Proceedings of the 8th Europen Conference on Computer Vision， 2004：469-481.