HOG for human detection

       这篇文章的作者Navneet Dalal和Bill Triggs是法国国家计算机技术和控制研究所French National Institute for Research in Computer Science and Control (INRIA)的研究员。他们在这篇文章中首次提出了HOG方法。这篇文章被发表在2005年的CVPR上。他们主要是将这种方法应用在静态图像中的行人 检测上，但在后来，他们也将其应用在电影和视频中的行人检测，以及静态图像中的车辆和常见动物的检测。     

1. 简要介绍

        HOG descriptors 是应用在计算机视觉和图像处理领域，用于目标检测的特征描述器。这项技术是用来计算局部图像梯度的方向信息的统计值。这种方法是对边缘方向直方图（edge orientation histograms）、尺度不变特征变换（scale-invariant feature transform descriptors,SIFT） 以及形状上下文方法（ shape contexts）的怀旧，但与它们的不同点是：HOG描述器是在一个网格密集的大小统一的细胞单元（dense grid of uniformly spaced cells）上计算，而且为了提高性能，还采用了重叠的局部对比度归一化（overlapping local contrast normalization）来提高其性能。

2. 相关论文

        Papageorgiou等人基于多项SVM描述了一个行人检测子，他用修正的Haar小波（Haar wavelets）作为输入描述子，其中带有变化的零件（parts）（子窗口）（subwindow）；Depoortere等人给出了最佳版本；Gavrila和

Philomen采用了一种更直接的方法，提取边缘图像并将它们与一系列学习模板用chamfer距离做匹配，这已经被用于一个实际的实时的行人检测系统；Viola等人建立一个高效的移动行人检测子，用AdaBoost以Haar-like小波和时空差异为基础训练一链日益复杂的区域抛弃规则；Ronfard等人通过合并分类四肢的SVM建立一个铰链肢体检测子到第1,2序的高斯滤波，动态编程框架和Felzenszwalb & Huttenlocher与Ioffe & Forsyth相似； Mikolajczyk等人用方向位置直方图与二进制阈值梯度大小相结合建立一个部件，该方法包含脸部、头部以及上半身和下半身的正视和侧视图。相比之下，我们的检测子是采用一个更简单的体系结构，用一个单独的检测床，但在行人图像中却有只ide主义的很好效果。

3. 方法概述

        特称提取链的概述，总结在表1。我们评价用一种密集网格得到的标准化的局部梯度方向直方图的优劣性。类似的特征近年来逐渐增多。基本思想是局部物体外观和形状特征通常可以通过局部灰度梯度或边缘方向的分布得到很好的表示，即便没有精与梯度或边缘位置相对应的精确知识。在实践中，首先把图像窗口分为一些小区域（“cells”）。然后遍历cell中的所有像素点，以对每个cell计算局部1D梯度方向或边缘方向直方图。最后把这些直方图联合起来形成图像特征描述。为了更好地适应光照、阴影等因素，在使用它们之前把这些局部直方图在更大一些的区域范围内进行对比度归一化，所采用的方法是：先在block中计算局部直方图"能量（energy）"，然后根据结果对block中的各个cell进行归一化。我们把标准化的描述子blocks作为HOG描述子。

        用一些密集的（事实上是重叠的）网格铺于检测窗，组合好的特征向量用于一个传统分类器SVM分类窗口，得出我们人体检测链。

Input image——Normalize gamma&color——Computer gradient——Weighted vote into spatial&orientation cells——Contrast normalize overlapping spatial blocks——Collect HOG‘s over detection window——Linear SVM——Person/non-person classification.

检测窗从各个位置、各个比例，扫描整个图像，传统的非最大抑制作用于输出金字塔来检测物体实例，但这篇论文着重于特征提取。

        与其他的特征描述方法相 比，HOG描述器后很多优点。首先，由于HOG方法是在图像的局部细胞单元上操作，所以它对图像几何的（geometric）和光学的 （photometric）形变都能保持很好的不变性，这两种形变只会出现在更大的空间领域上。其次，作者通过实验发现，在粗的空域抽样（coarse spatial sampling）、精细的方向抽样（fine orientation sampling）以及较强的局部光学归一化（strong local photometric normalization）等条件下，只要行人大体上能够保持直立的姿势，就容许行人有一些细微的肢体动作，这些细微的动作可以被忽略而不影响检测效 果。综上所述，HOG方法是特别适合于做图像中的行人检测的。

算法的实现：

色彩和伽马归一化 （color and gamma normalization）

作者分别在灰度空间、RGB色彩空间和LAB色彩空间上对图像进行色彩和 伽马归一化，但实验结果显示，这个归一化的预处理工作对最后的结果没有影响，原因可能是：在后续步骤中也有归一化的过程，那些过程可以取代这个预处理的归 一化。所以，在实际应用中，这一步可以省略。

梯度的计算（Gradient computation）

最常用的方法是：简单 地使用一个一维的离散微分模板（1-D centered point discrete derivative mask）在一个方向上或者同时在水平和垂直两个方向上对图像进行处理，更确切地说，这个方法需要使用下面的滤波器核滤除图像中的色彩或变化剧烈的数据 （color or intensity data）

作者也尝试了其他一些更复杂的模板，如3×3 Sobel 模板，或对角线模板（diagonal masks），但是在这个行人检测的实验中，这些复杂模板的表现都较差，所以作者的结论是：模板越简单，效果反而越好。作者也尝试了在使用微分模板前加入 一个高斯平滑滤波，但是这个高斯平滑滤波的加入使得检测效果更差，原因是：许多有用的图像信息是来自变化剧烈的边缘，而在计算梯度之前加入高斯滤波会把这 些边缘滤除掉。

构建方向的直方图（creating the orientation histograms）

第三步就是为 图像的每个细胞单元构建梯度方向直方图。细胞单元中的每一个像素点都为某个基于方向的直方图通道（orientation-based histogram channel）投票。投票是采取加权投票（weighted voting）的方式，即每一票都是带权值的，这个权值是根据该像素点的梯度幅度计算出来。可以采用幅值本身或者它的函数来表示这个权值，实际测试表明： 使用幅值来表示权值能获得最佳的效果，当然，也可以选择幅值的函数来表示，比如幅值的平方根（square root）、幅值的平方（square of the gradient magnitude）、幅值的截断形式（clipped version of the magnitude）等。细胞单元可以是矩形的（rectangular），也可以是星形的（radial）。直方图通道是平均分布在0-1800（无 向）或0-3600（有向）范围内。作者发现，采用无向的梯度和9个直方图通道，能在行人检测试验中取得最佳的效果。

把细胞单元组 合成大的区间（grouping the cells together into larger blocks）

由于局部光照的变化 （variations of illumination）以及前景-背景对比度（foreground-background contrast）的变化，使得梯度强度（gradient strengths）的变化范围非常大。这就需要对梯度强度做归一化，作者采取的办法是：把各个细胞单元组合成大的、空间上连通的区间（blocks）。 这样以来，HOG描述器就变成了由各区间所有细胞单元的直方图成分所组成的一个向量。这些区间是互有重叠的，这就意味着：每一个细胞单元的输出都多次作用 于最终的描述器。区间有两个主要的几何形状——矩形区间（R-HOG）和环形区间（C-HOG）。R-HOG区间大体上是一些方形的格子，它可以有三个参 数来表征：每个区间中细胞单元的数目、每个细胞单元中像素点的数目、每个细胞的直方图通道数目。作者通过实验表明，行人检测的最佳参数设置是：3×3细胞 /区间、6×6像素/细胞、9个直方图通道。作者还发现，在对直方图做处理之前，给每个区间（block）加一个高斯空域窗口（Gaussian spatial window）是非常必要的，因为这样可以降低边缘的周围像素点（pixels around the edge）的权重。

R- HOG跟SIFT描述器看起来很相似，但他们的不同之处是：R-HOG是在单一尺度下、密集的网格内、没有对方向排序的情况下被计算出来（are computed in dense grids at some single scale without orientation alignment）；而SIFT描述器是在多尺度下、稀疏的图像关键点上、对方向排序的情况下被计算出来（are computed at sparse scale-invariant key image points and are rotated to align orientation）。补充一点，R-HOG是各区间被组合起来用于对空域信息进行编码（are used in conjunction to encode spatial form information），而SIFT的各描述器是单独使用的（are used singly）。

C- HOG区间（blocks）有两种不同的形式，它们的区别在于：一个的中心细胞是完整的，一个的中心细胞是被分割的。如右图所示：

作者发现 C-HOG的这两种形式都能取得相同的效果。C-HOG区间（blocks）可以用四个参数来表征：角度盒子的个数（number of angular bins）、半径盒子个数（number of radial bins）、中心盒子的半径（radius of the center bin）、半径的伸展因子（expansion factor for the radius）。通过实验，对于行人检测，最佳的参数设置为：4个角度盒子、2个半径盒子、中心盒子半径为4个像素、伸展因子为2。前面提到过，对于R- HOG，中间加一个高斯空域窗口是非常有必要的，但对于C-HOG，这显得没有必要。C-HOG看起来很像基于形状上下文（Shape Contexts）的方法，但不同之处是：C-HOG的区间中包含的细胞单元有多个方向通道（orientation channels），而基于形状上下文的方法仅仅只用到了一个单一的边缘存在数（edge presence count）。

区间归一化 （Block normalization）

作者采用了四中不同的方法对区间进行归一化，并对结果进行了比较。引入v表示一个还没有被归一 化的向量，它包含了给定区间（block）的所有直方图信息。| | vk | |表示v的k阶范数，这里的k去1、2。用e表示一个很小的常数。这时，归一化因子可以表示如下：

L2-norm:

L1-norm:

L1-sqrt:

还 有第四种归一化方式：L2-Hys，它可以通过先进行L2-norm，对结果进行截短（clipping），然后再重新归一化得到。作者发现：采用L2- Hys L2-norm 和 L1-sqrt方式所取得的效果是一样的，L1-norm稍微表现出一点点不可靠性。但是对于没有被归一化的数据来说，这四种方法都表现出来显着的改进。

SVM 分类器（SVM classifier）

最后一步就是把提取的HOG特征输入到SVM分类器中，寻找一个最优超平面作为决策函数。作者采用 的方法是：使用免费的SVMLight软件包加上HOG分类器来寻找测试图像中的行人。