hog基本原理分析

原文链接http://blog.csdn.net/wuxiaoyao12/article/details/7320764

在一副图像中，局部目标的表象和形状（appearance and shape）能够被梯度或边缘的方向密度分布很好地描述。

一、适用：

HOG descriptors用于目标检测的特征描述器，用来计算局部图像梯度的方向信息的统计值，适合于做图像中的行人检测。

类似算法：

边缘方向直方图-edge orientation histograms

尺度不变特征变换-scale-invariant feature transform descriptors

形状上下文方法-shape contexts

 

二、来源：

由Navneet Dalal和Bill Triggs两位法国国家计算机技术和控制研究所French National Institute for Research in Computer Science and Control (INRIA)的研究员提出，文章于2005年发表在CVPR上。他们主要是将这种方法应用在静态图像中的行人检测上。在后来，他们也将其应用在电影和视频中的行人检测，以及静态图像中的车辆和常见动物的检测。

 

三、特别之处：

1.在网格密集的大小统一的细胞单元（dense grid of uniformly spaced cells）上计算。对图像几何的（geometric）和光学的（photometric）形变都能保持很好的不变性，这两种形变只会出现在更大的空间领域上。

2.采用重叠的局部对比度归一化（overlapping local contrast normalization）技术，提高性能。

     采用如下实现：

          1.将图像分成小的连通区域，即细胞单元。

          2.采集细胞单元中各像素点的梯度的或边缘的方向直方图。

          3.把这些直方图组合起来就可以构成特征描述器。

      为了提高性能，我们还可以把这些局部直方图在图像的更大的范围内（我们把它叫区间或block）进行对比度归一化（contrast-normalized）。

      所采用的方法是：先计算各直方图在这个区间（block）中的密度，然后根据这个密度对区间中的各个细胞单元做归一化。通过这个归一化后，能对光照变化和阴影获得更好的效果。

 

四、补充:

作者通过实验发现，在粗的空域抽样（coarse spatial sampling）、精细的方向抽样（fine orientation sampling）以及较强的局部光学归一化（strong local photometric normalization）等条件下，只要行人大体上能够保持直立的姿势，就容许行人有一些细微的肢体动作，这些细微的动作可以被忽略而不影响检测效果。

 

五、原算法实现：

1.色彩和伽马归一化（color and gamma normalization）

      作者分别在灰度空间、RGB色彩空间和LAB色彩空间上对图像进行色彩和伽马归一化，但实验结果显示，这个归一化的预处理工作对最后的结果没有影响，原因可能是：在后续步骤中也有归一化的过程，那些过程可以取代这个预处理的归一化。所以，在实际应用中，这一步可以省略。

2.梯度的计算（Gradient computation）

      最常用的方法是：简单地使用一个一维的离散微分模板（1-D centered, point discrete derivative mask）在一个方向上或者同时在水平和垂直两个方向上对图像进行处理，更确切地说，这个方法需要使用下面的滤波器核滤除图像中的色彩或变化剧烈的数据（color or intensity data）

      作者也尝试了其他一些更复杂的模板，如3×3 Sobel 模板，或对角线模板（diagonal masks），但是在这个行人检测的实验中，这些复杂模板的表现都较差，所以作者的结论是：模板越简单，效果反而越好。作者也尝试了在使用微分模板前加入一个高斯平滑滤波，但是这个高斯平滑滤波的加入使得检测效果更差，原因是：许多有用的图像信息是来自变化剧烈的边缘，而在计算梯度之前加入高斯滤波会把这些边缘滤除掉。

3.构建方向的直方图（creating the orientation histograms）

        为图像的每个细胞单元构建梯度方向直方图。细胞单元中的每一个像素点都为某个基于方向的直方图通道（orientation-based histogram channel）投票。投票是采取加权投票（weighted voting）的方式，即每一票都是带权值的，这个权值是根据该像素点的梯度幅度计算出来。可以采用幅值本身或者它的函数来表示这个权值，实际测试表明：使用幅值来表示权值能获得最佳的效果，当然，也可以选择幅值的函数来表示，比如幅值的平方根（square root）、幅值的平方（square of the gradient magnitude）、幅值的截断形式（clipped version of the magnitude）等。细胞单元可以是矩形的（rectangular），也可以是星形的（radial）。直方图通道是平均分布在0-1800（无向）或0-3600（有向）范围内。作者发现，采用无向的梯度和9个直方图通道，能在行人检测试验中取得最佳的效果。

4.把细胞单元组合成大的区间（grouping the cells together into larger blocks）

       由于局部光照的变化（variations of illumination）以及前景-背景对比度（foreground-background contrast）的变化，使得梯度强度（gradient strengths）的变化范围非常大。这就需要对梯度强度做归一化，作者采取的办法是：把各个细胞单元组合成大的、空间上连通的区间（blocks）。这样以来，HOG描述器就变成了由各区间所有细胞单元的直方图成分所组成的一个向量。这些区间是互有重叠的，这就意味着：每一个细胞单元的输出都多次作用于最终的描述器。

      区间有两个主要的几何形状——矩形区间（R-HOG）和环形区间（C-HOG）。

         1）R-HOG区间大体上是一些方形的格子，它可以有三个参数来表征：每个区间中细胞单元的数目、每个细胞单元中像素点的数目、每个细胞的直方图通道数目。作者通过实验表明，行人检测的最佳参数设置是：3×3细胞/区间、6×6像素/细胞、9个直方图通道。作者还发现，在对直方图做处理之前，给每个区间（block）加一个高斯空域窗口（Gaussian spatial window）是非常必要的，因为这样可以降低边缘的周围像素点（pixels around the edge）的权重。

R-HOG跟SIFT描述器看起来很相似，但他们的不同之处是：R-HOG是在单一尺度下、密集的网格内、没有对方向排序的情况下被计算出来（are computed in dense grids at some single scale without orientation alignment）；而SIFT描述器是在多尺度下、稀疏的图像关键点上、对方向排序的情况下被计算出来（are computed at sparse, scale-invariant key image points and are rotated to align orientation）。补充一点，R-HOG是各区间被组合起来用于对空域信息进行编码（are used in conjunction to encode spatial form information），而SIFT的各描述器是单独使用的（are used singly）。

          2）C-HOG区间（blocks）有两种不同的形式，它们的区别在于：一个的中心细胞是完整的，一个的中心细胞是被分割的。

    作者发现C-HOG的这两种形式都能取得相同的效果。C-HOG区间（blocks）可以用四个参数来表征：角度盒子的个数（number of angular bins）、半径盒子个数（number of radial bins）、中心盒子的半径（radius of the center bin）、半径的伸展因子（expansion factor for the radius）。通过实验，对于行人检测，最佳的参数设置为：4个角度盒子、2个半径盒子、中心盒子半径为4个像素、伸展因子为2。前面提到过，对于R-HOG，中间加一个高斯空域窗口是非常有必要的，但对于C-HOG，这显得没有必要。C-HOG看起来很像基于形状上下文（Shape Contexts）的方法，但不同之处是：C-HOG的区间中包含的细胞单元有多个方向通道（orientation channels），而基于形状上下文的方法仅仅只用到了一个单一的边缘存在数（edge presence count）。

5.区间归一化（Block normalization）

     作者采用了四中不同的方法对区间进行归一化，并对结果进行了比较。引入v表示一个还没有被归一化的向量，它包含了给定区间（block）的所有直方图信息。| | vk | |表示v的k阶范数，这里的k去1、2。用e表示一个很小的常数。这时，归一化因子可以表示如下：

L2-norm: 

L1-norm: 

L1-sqrt: 

还有第四种归一化方式：L2-Hys，它可以通过先进行L2-norm，对结果进行截短（clipping），然后再重新归一化得到。作者发现：采用L2-Hys, L2-norm, 和 L1-sqrt方式所取得的效果是一样的，L1-norm稍微表现出一点点不可靠性。但是对于没有被归一化的数据来说，这四种方法都表现出来显著的改进。

6.SVM分类器（SVM classifier）

      最后一步就是把提取的HOG特征输入到SVM分类器中，寻找一个最优超平面作为决策函数。作者采用的方法是：使用免费的SVMLight软件包加上HOG分类器来寻找测试图像中的行人。

 

六、opencv实现

OpenCV2.2提供了行人检测的例子，在samples\cpp\peopledetect.exe  peopledetect.cpp

现做如下简要说明：

 1)cv::HOGDescriptor hog;　

       创建类的对象，一系列变量初始化。

          winSize(64,128), blockSize(16,16), blockStride(8,8),cellSize(8,8), 

          nbins(9), derivAperture(1), winSigma(-1),histogramNormType(L2Hys), 

          L2HysThreshold(0.2), gammaCorrection(true)

2)getDefaultPeopleDetector() 

       获得3780维检测算子（105 blocks with 4 histograms each and 9 bins per histogram there are 3,780 values）
3)detectMultiScale(img, found, 0, cv::Size(8,8), cv::Size(24,16), 1.05, 2);　
　　参数分别为待检图像、返回结果列表、门槛值hitThreshold、窗口步长winStride、图像padding margin、比例系数、门槛值groupThreshold；

     (1) 得到层数levels　
         某图片（530，402）为例，lg(402/128)/lg1.05=23.4　则得到层数为24
　 (2)循环levels次，每次执行内容如下
         HOGThreadData& tdata = threadData[getThreadNum()];
         Mat smallerImg(sz, img.type(), tdata.smallerImgBuf.data);
　(3)循环中调用以下核心函数
           detect(smallerImg, tdata.locations, hitThreshold, winStride, padding);
         其参数分别为，该比例下图像、返回结果列表、门槛值、步长、margin
      该函数内容如下：
           (a)得到补齐图像尺寸paddedImgSize
          (b)创建类的对象　HOGCache cache(this, img, padding, padding, nwindows == 0,  cacheStride); 在创建过程中,首先初始化HOGCache::init,包括：计算梯度

          descriptor->computeGradient、得到块的个数105、每块参数个数36。　
　　　  (c)获得窗口个数nwindows，以第一层为例，其窗口数为（530＋32*2-64）/8＋ （402＋32*2-128）/8＋1　＝67*43＝2881，其中（32,32）为winStride参数， 也可用（24,16）

          (d)在每个窗口执行循环，内容如下
        在105个块中执行循环，每个块内容为：通过getblock函数计算HOG特征并 归一化，36个数分别与算子中对应数进行相应运算；判断105个块的总和　s >=  hitThreshold 则认为检测到目标　

 

 

原作者对 OpenCV2.0 peopledetect 进行了2次更新，最后一次代码如下：

 

[cpp]  view plain copy

1. #include "cvaux.h"  
2. #include "highgui.h"  
3. #include <stdio.h>  
4. #include <string.h>  
5. #include <ctype.h>  
6. using namespace cv;  
7. using namespace std;  
8. int main(int argc, char** argv)  
9. {  
10.     Mat img;  
11.     FILE* f = 0;  
12.     char _filename[1024];  
13.     if( argc == 1 )  
14.     {  
15.         printf("Usage: peopledetect (<image_filename> | <image_list>.txt)\n");  
16.         return 0;  
17.     }  
18.     img = imread(argv[1]);  
19.     if( img.data )  
20.     {  
21.         strcpy(_filename, argv[1]);  
22.     }  
23.     else  
24.     {  
25.         f = fopen(argv[1], "rt");  
26.         if(!f)  
27.         {  
28.             fprintf( stderr, "ERROR: the specified file could not be loaded\n");  
29.             return -1;  
30.         }  
31.     }  
32.     HOGDescriptor hog;  
33.     hog.setSVMDetector(HOGDescriptor::getDefaultPeopleDetector());  
34.     for(;;)  
35.     {  
36.         char* filename = _filename;  
37.         if(f)  
38.         {  
39.             if(!fgets(filename, (int)sizeof(_filename)-2, f))  
40.                 break;  
41.             //while(*filename && isspace(*filename))  
42.             // ++filename;  
43.             if(filename[0] == '#')  
44.                 continue;  
45.             int l = strlen(filename);  
46.             while(l > 0 && isspace(filename[l-1]))  
47.                 --l;  
48.             filename[l] = '\0';  
49.             img = imread(filename);  
50.         }  
51.         printf("%s:\n", filename);  
52.         if(!img.data)  
53.             continue;  
54.         fflush(stdout);  
55.         vector<Rect> found, found_filtered;  
56.         double t = (double)getTickCount();  
57.         // run the detector with default parameters. to get a higher hit-rate  
58.         // (and more false alarms, respectively), decrease the hitThreshold and  
59.         // groupThreshold (set groupThreshold to 0 to turn off the grouping completely).  
60.         int can = img.channels();  
61.         hog.detectMultiScale(img, found, 0, Size(8,8), Size(32,32), 1.05, 2);  
62.         t = (double)getTickCount() - t;  
63.         printf("tdetection time = %gms\n", t*1000./cv::getTickFrequency());  
64.         size_t i, j;  
65.         for( i = 0; i < found.size(); i++ )  
66.         {  
67.             Rect r = found[i];  
68.             for( j = 0; j < found.size(); j++ )  
69.                 if( j != i && (r & found[j]) == r)  
70.                     break;  
71.             if( j == found.size() )  
72.                 found_filtered.push_back(r);  
73.         }  
74.         for( i = 0; i < found_filtered.size(); i++ )  
75.         {  
76.             Rect r = found_filtered[i];  
77.             // the HOG detector returns slightly larger rectangles than the real objects.  
78.             // so we slightly shrink the rectangles to get a nicer output.  
79.             r.x += cvRound(r.width*0.1);  
80.             r.width = cvRound(r.width*0.1）;  
81.             r.y += cvRound(r.height*0.07);  
82.             r.height = cvRound(r.height*0.1）;  
83.             rectangle(img, r.tl(), r.br(), cv::Scalar(0,255,0), 3);  
84.         }  
85.         imshow("people detector", img);  
86.         int c = waitKey(0) & 255;  
87.         if( c == 'q' || c == 'Q' || !f)  
88.             break;  
89.     }  
90.     if(f)  
91.         fclose(f);  
92.     return 0;  
93. }  
94. /* 
95. 将需要批量检测的图片，构造一个TXT文本，文件名为filename.txt, 其内容如下 
96. 1.jpg 
97. 2.jpg 
98. ...... 
99.  
100. 然后在DOS界面输入 peopledetect filename.txt ，　即可自动检测每个图片。 
101. */  

以下网站提供了INRIA Object Detection and Localization Toolkit

http://pascal.inrialpes.fr/soft/olt/

Wilson Suryajaya Leoputra提供了它的windows版本

http://www.computing.edu.au/~12482661/hog.html

 

摘自：http://hi.baidu.com/ykaitao_handsome/blog/item/d7a2c3156e368a0a4b90a745.html

该博主对hog研究较深