局部特征HOG、SIFT、LBP

HOG：Histogram of Oriented Gradient，方向梯度直方图

主要思想：

HOG主要捕获轮廓信息，在一副图像中，局部目标的表象和形状（appearance and shape）能够被梯度或边缘的方向密度分布很好地描述。因为是局部特征，直接对较大的区域进行提取HOG难度大效果差，故需要将图像分为多patch，分别计算HOG特征。分割时，有overlap和non-overlap两种，non-overlap是不重叠分割，虽然计算量小，但关键区域容易被分割，overlap是重叠分割，计算量大，但更好的保留关键区域。

过程：

• 图像分割后，计算每patch的HOG。
• 灰度化和Gamma校正
• 利用任意一种梯度算子，例如：sobel，laplacian等，对该patch进行卷积，计算得到每个像素点处的梯度方向和幅值

• 将360度（2*PI）根据需要分割成若干个bin，即直方图的bin，然后根据每个像素点的梯度方向，利用双线性内插法将其幅值累加到直方图中。
• 将图像分割成更大的Block，并利用该Block对其中的每个patch进行颜色、亮度的归一化，用来去掉光照、阴影等影响
• 将从每个patch中提取出的“小”HOG特征首尾相连，组合成一个大的一维向量，这就是最终的图像特征。

特征维数：

假设图像为64*64，一个patch 8*8，一个block包括2*2个cell，假设步长8像素，所以水平或垂直方向共有（W-K）/S+1=（64-16）/8+1=7个block，每个cell有N个bin，即N个特征，所以一个block有4*N个特征，共7*7*4*N个特征。

 

SIFT: Scale-invariant feature transform，尺度不变特征转换

思想：

在空间尺度中寻找极值点，并提取出其位置、尺度、旋转不变量。在对一个图像中的方形区域通过相应的方向和尺度变换后，再计算该区域的SIFT特征。SIFT特征是图像的局部特征，其对旋转、尺度缩放、亮度变化保持不变性，对视角变化、仿射变换、噪声也保持一定程度的稳定性

过程：

• 尺度空间极值检测：搜索所有尺度上的图像位置。通过高斯微分函数来识别潜在的对于尺度和旋转不变的兴趣点
• 在每个候选的位置上，通过一个拟合精细的模型来确定位置和尺度
• 基于图像局部的梯度方向，分配给每个关键点位置一个或多个方向
• 在每个关键点周围的邻域内，在选定的尺度上测量图像局部的梯度

 

LBP: Local Binary Pattern，局部二值模式

思想：

以中心像素的灰度值作为阈值，与他的领域相比较得到相对应的二进制码来表示局部纹理特征

原始LBP过程：

• 3*3的窗口，对于中心位置，假设像素为A，对于周围的8个像素，大于A的置1，小于A的置0
• 按逆时针将排列01序列
• 将二进制转换为十进制即为LBP值