LBP特征详细原理-python代码复现

LBP特征提取算法

LBP(Local Binary Patterns，局部二值模式)是提取局部特征作为判别依据的，一种有效的纹理描述算子，度量和提取图像局部的纹理信息，它具有旋转不变性和灰度不变性等显著的优点，对光照具有不变性。而且，提取的特征是图像的局部的纹理特征。原始的LBP于1994年提出，它反映内容是每个像素与周围像素的关系。后被不断的改进和优化，分别提出了LBP旋转不变模式、LBP均匀模式等。
灰度不变性：指的是光照变化是否会对描述产生影响。以上面的8邻域来说，光照变化很难改变中心像素点的灰度值与周围8个像素的大小关系。因为光照是一种区域性质的变化，而不是单像素性质的变化。

1、LBP特征描述

LBP的基本思想是定义于像素的8邻域中(3x3的窗口), 以中心像素的灰度值为阈值, 将周围8 个像素的值与其比较, 如果周围的像素值小于中心像素的灰度值, 该像素位置就被标记为0, 否则标记为1。这样3x3的邻域内的八个点经过比较能够产生8位二进制数(通常转换为十进制，即LBP码，共256种)，每个像素得到一个二进制组合, 即得到该窗口中心像素点的LBP值，并用这个值来反映该区域的纹理信息。

（01111100）=4+8+16+32+64=124


一般以左上角为第一个点，逆时针进行旋转

(原论文的公式定义）
一个更加正式的LBP操作可以被定义为：

其中（Xc, yc) 是中心像素，亮度是ic ；而 ip则是相邻像素的亮度。s是一个符号函数：

2、LBP的改进版本：

(1)圆形LBP算子

基本的 LBP算子的最大缺陷在于它只覆盖了一个固定半径范围内的小区域，这显然不能满足不同尺寸和频率纹理的需要。为了适应不同尺寸的纹理特征，达到灰度和旋转不变性的要求。将 3×3邻域扩展到任意邻域，并用圆形邻域代替了正方形邻域，改进后的 LBP 算子允许在半径为 R的圆形邻域内有任意多个像素点。从而得到了诸如半径为R的圆形区域内含有P个采样点的LBP算子。

(2)LBP旋转不变模式
原始的LBP不具有旋转不变性，图像的旋转就会得到不同的LBP值。这样我们就提出了旋转不变的LBP模式。旋转不变的LBP计算公式如下：

Maenpaa等人又将 LBP算子进行了扩展，提出了具有旋转不变性的 LBP 算子，即不断旋转圆形邻域得到一系列初始定义的 LBP值，取其最小值作为该邻域的 LBP 值。
下图给出了求取旋转不变的 LBP 的过程示意图，图中算子下方的数字表示该算子对应的 LBP值，图中所示的 8 种 LBP模式，经过旋转不变的处理，最终得到的具有旋转不变性的 LBP值为 15。也就是说，图中的 8种 LBP 模式对应的旋转不变的 LBP模式都是 00001111。

3）LBP等价模式
　　一个LBP算子可以产生不同的二进制模式，对于半径为R的圆形区域内含有P个采样点的LBP算子将会产生2的P次方种模式。很显然，随着邻域集内采样点数的增加，二进制模式的种类是急剧增加的。例如：5×5邻域内20个采样点，有2的20次方，1048576种二进制模式。如此多的二值模式无论对于纹理的提取还是对于纹理的识别、分类及信息的存取都是不利的。同时，过多的模式种类对于纹理的表达是不利的。例如，将LBP算子用于纹理分类或人脸识别时，常采用LBP模式的统计直方图来表达图像的信息，而较多的模式种类将使得数据量过大，且直方图过于稀疏。因此，需要对原始的LBP模式进行降维，使得数据量减少的情况下能最好的代表图像的信息。
　　为了解决二进制模式过多的问题，提高统计性，Ojala提出了采用一种“等价模式”（Uniform Pattern）来对LBP算子的模式种类进行降维。Ojala等认为，在实际图像中，绝大多数LBP模式最多只包含两次从1到0或从0到1的跳变。因此，Ojala将“等价模式”定义为：当某个LBP所对应的循环二进制数从0到1或从1到0最多有两次跳变时，该LBP所对应的二进制就称为一个等价模式类。如00000000（0次跳变），00000111（只含一次从0到1的跳变），10001111（先由1跳到0，再由0跳到1，共两次跳变）都是等价模式类。除等价模式类以外的模式都归为另一类，称为混合模式类，例如10010111（共四次跳变）
　　通过这样的改进，二进制模式的种类大大减少，而不会丢失任何信息。模式数量由减少为 P ( P-1)+2种，其中P表示邻域集内的采样点数。对于3×3邻域内8个采样点来说，二进制模式由原始的256种减少为58种，即：它把值分为59类，58个uniform pattern为一类，其它的所有值为第59类。这样直方图从原来的256维变成59维。这使得特征****向量的维数更少，并且可以减少高频噪声带来的影响。
具体实现：采样点数目为8个，即LBP特征值有256种，共256个值，正好对应灰度图像的0-255，因此原始的LBP特征图像是一幅正常的灰度图像，而等价模式LBP特征，根据0-1跳变次数，将这256个LBP特征值分为了59类，从跳变次数上划分：跳变0次—2个，跳变1-2次56个，跳变3次—0个，跳变4次—140个，跳变5次—0个，跳变6次—56个，跳变7次—2个。共8种跳变情况，将这256个值进行分配，跳变小于2次的为等价模式类，共58个，他们对应的值按照从小到大分别编码为1—58，即它们在LBP特征图像中的灰度值为1—58，而除了等价模式类之外的混合模式类被编码为0，即它们在LBP特征中的灰度值为0，因此等价模式LBP特征图像整体偏暗。
第二幅图像为radius =1 ，neighbors = 8，第三幅图像为radius = 3，neighbors = 8，第四幅图像为radius = 1，neighbors = 8，从实验结果可以看出，半径越小，图像纹理越精细.第四幅图像为旋转不变LBP特征，最后一幅是等价模式LBP特征。

　　
3、对LBP特征向量进行提取的步骤

LBP的应用中，如纹理分类、人脸分析等，LBP特征提取结果还是大小相同的一幅图像，一般都不将LBP图谱作为特征向量用于分类识别，而是采用LBP特征谱的统计直方图作为特征向量用于分类识别。
LBPH，Local Binary Patterns Histograms，即LBP特征的统计直方图，LBPH将LBP特征与图像的空间信息结合在一起。这种表示方法由Ahonen等人在论文[3]中提出，他们将LBP特征图像分成m个局部块，并提取每个局部块的直方图，然后将这些直方图依次连接在一起形成LBP特征的统计直方图，即LBPH。
一幅图像具体的计算LBPH的过程（以Opencv中的人脸识别为例）：

1. 计算图像的LBP特征图像，在上面已经讲过了。
2. 将LBP特征图像进行分块，Opencv中默认将LBP特征图像分成8行8列64块区域
3. 计算每块区域特征图像的直方图cell_LBPH，将直方图进行归一化，直方图大小为1*numPatterns
4. 将上面计算的每块区域特征图像的直方图按分块的空间顺序依次排列成一行，形成LBP特征向量，大小为1*（numPatterns*64）
5. 用机器学习的方法对LBP特征向量进行训练，用来检测和识别目标
   举例说明LBPH的维度：
   采样点为8个，如果用的是原始的LBP或Extended LBP特征，其LBP特征值的模式为256种，则一幅图像的LBP特征向量维度为：64256=16384维，
   而如果使用的UniformPatternLBP特征，其LBP值的模式为59种，其特征向量维度为：6459=3776维，可以看出，使用等价模式特征，其特征向量的维度大大减少，
   这意味着使用机器学习方法进行学习的时间将大大减少，而性能上没有受到很大影响。
   然后便可利用SVM或者其他机器学习算法进行分类了。

from skimage.feature import local_binary_pattern
from skimage import data, filters
import matplotlib.pyplot as plt
import cv2

# settings for LBP
radius = 3  # LBP算法中范围半径的取值
n_points = 8 * radius  # 领域像素点数


# 读取图像
image = cv2.imread('1.jpg')

#显示到plt中，需要从BGR转化到RGB，若是cv2.imshow(win_name, image)，则不需要转化
image1 = cv2.cvtColor(image, cv2.COLOR_BGR2RGB)
plt.subplot(221)   # 把画布分成2*2的格子，放在第一格
plt.imshow(image1)

# 转换为灰度图显示
image = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY)
plt.subplot(222)  # 把画布分成2*2的格子,放在第2格
plt.imshow(image, cmap='gray')

# LBP特征
lbp = local_binary_pattern(image, n_points, radius)
plt.subplot(223)  # 把画布分成2*2的格子,放在第3格
plt.imshow(lbp, cmap='gray')

# 边缘特征-sobel算子
edges = filters.sobel(image)
plt.subplot(224)  # 把画布分成2*2的格子,放在第4格
plt.imshow(edges, cmap='gray')
plt.show()