1.算法基本流程
在一幅图像中,方向梯度直方图(Histogram of Oriented Gradient, HOG)能够很好地描述局部目标区域的特征,是一种常用的特征提取方法,HOG+SVM在行人检测中有着优异的效果。在HOG中,对一幅图像进行了如下划分:
图像(image)->检测窗口(win)->图像块(block)->细胞单元(cells)
流程图如下:
2.计算图像梯度
对数字图像而言,每个像素水平和垂直方向的梯度,可以通过下图的kernels计算:
即可写为:
每个像素梯度大小和方向可表示为:
其中,I(x,y)是图像在点(x,y)处的像素值。
梯度图像移除了不必要的信息,但是高亮了轮廓线。在每一个像素上,梯度都有大小和方向。对于彩色图像,3个通道的梯度都将被计算出来,然而图像素的梯度值为3个通道中最大的梯度值,角度也是最大角度。
3.HOG的win ,block ,cell
对于图像中检测窗口的尺寸为64×64,假设给出块的尺寸为16×16,块步长为(8,8),经过计算:检测窗口中共滑动7×7=49个block。在一个块中选择细胞单元不再滑动,给出细胞单元的尺寸为(8,8),所以一个块中一共有2×2=4个cell。
4.HOG构建方向梯度直方图与特征向量维数
HOG构建方向梯度直方图在cell中完成,bins的个数决定了方向的范围。假设采用9个bin的直方图来统计这8×8个像素cell的梯度信息,即将cell的梯度方向0~180度(或0~360度,考虑了正负,signed)分成9个方向块。如下图所示:如果这个像素的梯度方向是20-40度,直方图第2个bin即的计数就加1,这样,对cell内每个像素用梯度方向在直方图中进行加权投影,将其映射到对应的角度范围块内,就可以得到这个cell的梯度方向直方图了,就是该cell对应的9维特征向量(因为有9个bin)。这边的加权投影所用的权值为当前点的梯度幅值。例如说:某个像素的梯度方向是20-40度,其梯度幅值是4,那么直方图第2个bin的计数就不是加1了,而是加4。这样就得到关于梯度方向的一个加权直方图。之前提到过,cell的中方向范围的个数由bins来决定,还是以9为例:所以,一个cell中的向量为9个。以上面的例子,在一个尺寸为64×64的检测窗中,描述子的维数就应该为:9×4×49=1764 。其中4为一个block中cell的个数,49为一个win中block的个数。
刚写完了,按了2下空格..图片以下全没了,重新写吧...
新手一枚,图像方面就刚刚接触的HOG,其他不了解,有些词语也许说的不是很准确,见谅下~
写博客也是第一次...当个笔记记下来...
不多说了...
原图
运行后效果图:一张是灰度图,还有一张是每个cell不同bin的大小图:
下面是我代码中的宏
#define PI 3.14
#define BIN_SIZE 20
#define BIN_NVM 9
#define NORM_WIDTH 130
#define NORM_HEIGHT 82
#define CELL_SIZE 8
#define BLOCK_SIZE 2
#define PIC_CELL_WH 50
#define CELL_W_NVM ((NORM_WIDTH-2) / CELL_SIZE)
#define CELL_H_NVM ((NORM_HEIGHT-2) / CELL_SIZE)
#define BLOCK_W_NVM (CELL_W_NVM - BLOCK_SIZE + 1)
#define BLOCK_H_NVM (CELL_H_NVM - BLOCK_SIZE + 1)
#define CELL_NVM (CELL_W_NVM * CELL_H_NVM)
#define BLOCK_NVM (BLOCK_W_NVM * BLOCK_H_NVM)
#define ARRAY_ALL (BLOCK_W_NVM * BLOCK_H_NVM * BLOCK_SIZE * BLOCK_SIZE * BIN_NVM)
首先load一张图片,灰度化并且gamma校正
IplImage* img = cvLoadImage("./003.jpg");
IplImage *img1 = cvCreateImage(cvGetSize(img),IPL_DEPTH_8U,1);
IplImage *img2 = cvCreateImage(cvGetSize(img),IPL_DEPTH_8U,1);
CvMat* mat = cvCreateMat(img->width, img->height,CV_32FC1);
灰度图
cvCvtColor(img,img1,CV_BGR2GRAY);
cvNamedWindow("GrayImage",CV_WINDOW_AUTOSIZE);
cvShowImage("GrayImage",img1);
gamma校正
uchar* uData = (uchar*)(img1->imageData);
float* fMat = mat->data.fl;
for (int ii = 0; ii < img1->imageSize; ii++)
{
fMat[ii] = pow( uData[ii], 0.5f);
((uchar*)img2->imageData)[ii] = (uchar)(fMat[ii]);
}
缩放图片到指定大小后,对每个cell计算其中像素的梯度方向已经大小,
下面是func()函数, 参数是每个cell左上角左边x;y;cell的宽;图片;输出的每个cell 的9维bin数组.
void func(int i_x, int i_y, int i_w, IplImage* Img_in, float* fbin)
{
memset(fbin, 0, 9*sizeof(float));
float f_x = 0.0f, f_y = 0.0f, f_Nvm = 0.0f, f_theta = 0.0f;
for (int ii = i_y; ii < i_y + i_w; ii++)
{
for (int jj = i_x; jj < i_x + i_w; jj++)
{
uchar* pData = (uchar*)(Img_in->imageData + ii * Img_in->widthStep + jj);
f_x = pData[1] - pData[-1];
f_y = pData[Img_in->widthStep]- pData[-Img_in->widthStep];
f_Nvm = pow( f_x*f_x + f_y*f_y, 0.5f);
float fAngle = 90.0f;
if (f_x == 0.0f)
{
if (f_y > 0)
{
fAngle = 90.0f;
}
}
else if (f_y == 0.0f)
{
if (f_x > 0)
{
fAngle == 0.0f;
}
else if (f_x < 0)
{
fAngle == 180.0f;
}
}
else
{
f_theta = atan(f_y/f_x); atan() 范围为 -Pi/2 到 pi/2 所有9个bin范围是 0~180°
fAngle = (BIN_SIZE*BIN_NVM * f_theta)/PI;
}
if (fAngle < 0)
{
fAngle += 180;
}
int iWhichBin = fAngle/BIN_SIZE;
fbin[iWhichBin] += f_Nvm;
}
}
}
创建一个img,画每个cell的9个bin的方向大小,注意: X正方形向右,Y正方形向下.
因为每个cell的bin上的数字大小不一,并且差距也大,所以得归X化下,
比如一个cell的图用 50*50 大小的格子,那么每个图都是以 (25,25)为圆心进行画图,所以将所有bin里的值归到0~25范围内
for (int ii = 0; ii < CELL_H_NVM; ii++)
{
for (int jj = 0; jj < CELL_W_NVM; jj++)
{
for (int kk = 0; kk < BIN_NVM; kk++)
{
f_cell_max = (f_bin_out[ii*CELL_W_NVM+jj][kk] > f_cell_max) ? f_bin_out[ii*CELL_W_NVM+jj][kk] : f_cell_max;
}
for (int kk = 0; kk < BIN_NVM; kk++)
{
if(f_cell_max == 0.0f)
{
f_Pic[ii*CELL_W_NVM+jj][kk] = 0.0f;
}
else
{
f_Pic[ii*CELL_W_NVM+jj][kk] = f_bin_out[ii*CELL_W_NVM+jj][kk] * (PIC_CELL_WH/2) / f_cell_max;
}
}
f_cell_max = 0.0f;
}
}
归好后,将每个数字表示到图片上去,注意: X正方形向右,Y正方形向下.
当时算角度的时候用的 atan()函数, 范围是 -PI/2~PI/2, bin范围为0~180°,每个bin为20°,
画图按照0~360°,每个bin为40°来画,
[0,40) 范围内的大小画在0°上,[40~80)范围内的大小画在40°方向上,以此类推
CvScalar ss;
ss.val[0] = 0;
ss.val[1] = 0;
ss.val[2] = 255;
for (int ii = 0; ii < CELL_H_NVM; ii++)
{
for (int jj = 0; jj < CELL_W_NVM; jj++)
{
for (int kk = 0; kk < BIN_NVM; kk++)
{
CvPoint stStart = cvPoint( (PIC_CELL_WH/2) + jj*PIC_CELL_WH, (PIC_CELL_WH/2) + ii*PIC_CELL_WH);
CvPoint stStop;
float fAngle = kk*40*PI/180;
float fSize = f_Pic[ii*CELL_W_NVM+jj][kk];
stStop.x = fSize * cos(fAngle) + stStart.x;
stStop.y = fSize * sin(fAngle) + stStart.y;
cvLine(img4, stStart, stStop , ss);
}
}
}
上面完成后,画出来的图就是上面显示的第三张图,可以看出有人的地方梯度方向以及大小比其他地方要多.
最后就是要完成输出特征大数组了,应该就是用来后面识别用的特征向量,
首先要归一化每个block,然后把所有的block串联成一个大数组,
int iBlockWhichCell = 0;
int uu = 0;
float f_max = 0.0f;
float f_Ether_Block[BLOCK_SIZE*BLOCK_SIZE][BIN_NVM];
float f_Last_Array[ARRAY_ALL];
for (int ii = 0; ii < BLOCK_W_NVM; ii++ )
{
for (int jj = 0; jj < BLOCK_H_NVM; jj++)
{
for (int kk = 0; kk < BIN_NVM; kk++ )
{
f_Ether_Block[0][kk] = f_bin_out[ii*CELL_W_NVM+jj][kk];
f_Ether_Block[1][kk] = f_bin_out[ii*CELL_W_NVM+jj+1][kk];
f_Ether_Block[2][kk] = f_bin_out[ii*CELL_W_NVM+jj+ CELL_W_NVM][kk];
f_Ether_Block[3][kk] = f_bin_out[ii*CELL_W_NVM+jj+ CELL_W_NVM+1][kk];
}
for (int ss = 0; ss < BLOCK_SIZE * BLOCK_SIZE; ss++ )
{
for (int mm = 0; mm < BIN_NVM; mm++)
{
f_max = (f_Ether_Block[ss][mm] > f_max) ? f_Ether_Block[ss][mm] : f_max;
}
}
for (int ss = 0; ss < BLOCK_SIZE * BLOCK_SIZE; ss++ )
{
for (int mm = 0; mm < BIN_NVM; mm++)
{
f_Ether_Block[ss][mm] /= f_max;
f_Last_Array[uu++] = f_Ether_Block[ss][mm];
}
}
}
}
源码下载地址:http://download.csdn.net/detail/u011960822/8919895
百度云: 链接:https://pan.baidu.com/s/1zIiB2hVoAHSCKSXTtyoOqg 提取码:9xia
HOG特征:
方向梯度直方图(Histogram of Oriented Gradient, HOG)特征是一种在计算机视觉和图像处理中用来进行物体检测的特征描述子。它通过计算和统计图像局部区域的梯度方向直方图来构成特征。Hog特征结合SVM分类器已经被广泛应用于图像识别中,尤其在行人检测中获得了极大的成功。需要提醒的是,HOG+SVM进行行人检测的方法是法国研究人员Dalal在2005的CVPR上提出的,而如今虽然有很多行人检测算法不断提出,但基本都是以HOG+SVM的思路为主。
(1)主要思想:
在一副图像中,局部目标的表象和形状(appearance and shape)能够被梯度或边缘的方向密度分布很好地描述。(本质:梯度的统计信息,而梯度主要存在于边缘的地方)。
(2)具体的实现方法是:
首先将图像分成小的连通区域,我们把它叫细胞单元。然后采集细胞单元中各像素点的梯度的或边缘的方向直方图。最后把这些直方图组合起来就可以构成特征描述器。
(3)提高性能:
把这些局部直方图在图像的更大的范围内(我们把它叫区间或block)进行对比度归一化(contrast-normalized),所采用的方法是:先计算各直方图在这个区间(block)中的密度,然后根据这个密度对区间中的各个细胞单元做归一化。通过这个归一化后,能对光照变化和阴影获得更好的效果。
(4)优点:
与其他的特征描述方法相比,HOG有很多优点。首先,由于HOG是在图像的局部方格单元上操作,所以它对图像几何的和光学的形变都能保持很好的不变性,这两种形变只会出现在更大的空间领域上。其次,在粗的空域抽样、精细的方向抽样以及较强的局部光学归一化等条件下,只要行人大体上能够保持直立的姿势,可以容许行人有一些细微的肢体动作,这些细微的动作可以被忽略而不影响检测效果。因此HOG特征是特别适合于做图像中的人体检测的。
算法流程:
HOG特征提取方法就是将一个image(你要检测的目标或者扫描窗口):
1)灰度化(将图像看做一个x,y,z(灰度)的三维图像);
2)采用Gamma校正法对输入图像进行颜色空间的标准化(归一化);目的是调节图像的对比度,降低图像局部的阴影和光照变化所造成的影响,同时可以抑制噪音的干扰;
3)计算图像每个像素的梯度(包括大小和方向);主要是为了捕获轮廓信息,同时进一步弱化光照的干扰。
4)将图像划分成小cells(例如6*6像素/cell);
5)统计每个cell的梯度直方图(不同梯度的个数),即可形成每个cell的descriptor;
6)将每几个cell组成一个block(例如3*3个cell/block),一个block内所有cell的特征descriptor串联起来便得到该block的HOG特征descriptor。
7)将图像image内的所有block的HOG特征descriptor串联起来就可以得到该image(你要检测的目标)的HOG特征descriptor了。这个就是最终的可供分类使用的特征向量了。
具体每一步的详细过程如下:
(1)标准化gamma空间和颜色空间
为了减少光照因素的影响,首先需要将整个图像进行规范化(归一化)。在图像的纹理强度中,局部的表层曝光贡献的比重较大,所以,这种压缩处理能够有效地降低图像局部的阴影和光照变化。因为颜色信息作用不大,通常先转化为灰度图;
Gamma压缩公式:
比如可以取Gamma=1/2;
(2)计算图像梯度
计算图像横坐标和纵坐标方向的梯度,并据此计算每个像素位置的梯度方向值;求导操作不仅能够捕获轮廓,人影和一些纹理信息,还能进一步弱化光照的影响。
图像中像素点(x,y)的梯度为:
最常用的方法是:首先用[-1,0,1]梯度算子对原图像做卷积运算,得到x方向(水平方向,以向右为正方向)的梯度分量gradscalx,然后用[1,0,-1]T梯度算子对原图像做卷积运算,得到y方向(竖直方向,以向上为正方向)的梯度分量gradscaly。然后再用以上公式计算该像素点的梯度大小和方向。
(3)为每个细胞单元构建梯度方向直方图
第三步的目的是为局部图像区域提供一个编码,同时能够保持对图像中人体对象的姿势和外观的弱敏感性。
我们将图像分成若干个“单元格cell”,例如每个cell为6*6个像素。假设我们采用9个bin的直方图来统计这6*6个像素的梯度信息。也就是将cell的梯度方向360度分成9个方向块,如图所示:例如:如果这个像素的梯度方向是20-40度,直方图第2个bin的计数就加一,这样,对cell内每个像素用梯度方向在直方图中进行加权投影(映射到固定的角度范围),就可以得到这个cell的梯度方向直方图了,就是该cell对应的9维特征向量(因为有9个bin)。
像素梯度方向用到了,那么梯度大小呢?梯度大小就是作为投影的权值的。例如说:这个像素的梯度方向是20-40度,然后它的梯度大小是2(假设啊),那么直方图第2个bin的计数就不是加一了,而是加二(假设啊)。
细胞单元可以是矩形的(rectangular),也可以是星形的(radial)。
(4)把细胞单元组合成大的块(block),块内归一化梯度直方图
由于局部光照的变化以及前景-背景对比度的变化,使得梯度强度的变化范围非常大。这就需要对梯度强度做归一化。归一化能够进一步地对光照、阴影和边缘进行压缩。
作者采取的办法是:把各个细胞单元组合成大的、空间上连通的区间(blocks)。这样,一个block内所有cell的特征向量串联起来便得到该block的HOG特征。这些区间是互有重叠的,这就意味着:每一个单元格的特征会以不同的结果多次出现在最后的特征向量中。我们将归一化之后的块描述符(向量)就称之为HOG描述符。
区间有两个主要的几何形状——矩形区间(R-HOG)和环形区间(C-HOG)。R-HOG区间大体上是一些方形的格子,它可以有三个参数来表征:每个区间中细胞单元的数目、每个细胞单元中像素点的数目、每个细胞的直方图通道数目。
例如:行人检测的最佳参数设置是:3×3细胞/区间、6×6像素/细胞、9个直方图通道。则一块的特征数为:3*3*9;
(5)收集HOG特征
最后一步就是将检测窗口中所有重叠的块进行HOG特征的收集,并将它们结合成最终的特征向量供分类使用。
算法实现:
该算法在很多地方都是实现代码,这里就简单的列几个权威的作为参考。
1 opencv的源码里面,这部分最权威,因为是经过工业使用过的。
2 dlib的源码里面也有,这个也比较成熟
3 python语言实现的,参考文档:https://pengzhaoqing.github.io/%E8%AE%A1%E7%AE%97%E6%9C%BA%E8%A7%86%E8%A7%89/hog/
4 C语言实现的,参考:https://github.com/icsfy/Pedestrian_Detection
参考文献:
1、https://blog.csdn.net/krais_wk/article/details/81119237