LBP特征及其一些变种

说明：本文部分内容转载：http://blog.sina.com.cn/s/blog_631a4cc401013pkn.html

图像纹理是一种重要的视觉手段，是图像中普遍存在而又难以描述的特征。纹理分析技术一直是计算机视觉、图像处理、图像检索等的活跃研究领域。纹理特征提取的目标是：提取的纹理特征维数不大、鉴别能力强、稳健性好，提取过程计算量小，能够指导实际运用。 
纹理的定义一直为人们所关注，但是图像纹理定义问题至今没有得到圆满的解决，仍然不存在为众人所公认的定义。其中的共识是一：纹理不同于灰度和颜色等图像特征，它通过像素及其周围空间邻域的灰度分布来表现，即局部纹理信息；二：局部纹理信息不同程度的重复性，即全局纹理信息。

LBP纹理特征因其维度低，计算速度快，能很好的刻画图像的纹理信息而被广泛应用，并且也产生了很多变种。

1 传统LBP

 以R为半径的P点邻域，gc为中心，gp为邻域点 ;区分邻域比中心亮度大还是小。其计算公式以及计算示意图如下：

（计算公式）

可以通过改变改变P,R 形成多尺度LBP。

  2. uniform LBP    P*(P-1)+2个
          二值编码中0-1或1-0之间转换次数小于或等于2的编码即为uniform LBP；  计算转换次数的公式如下:

P=8，7*8+2=58个编码值，其余的U>2的归为一个bin

  3. 旋转不变的LBP ： 36个
           由于编码的起始点是一定的，每一种二值编码模式经旋转（循环位移）后会产生不同的编码结果。为了形成旋转不变的编码模式，我们让有同一编码模式经旋转后产生的编码结果编码为同一值，即这些旋转结果中的最小值。

36个旋转不变的LBP编码模式：

   4. 旋转不变的uniform LBP   P+1个
          即在uniform LBP中，开始7行的每一行为旋转不变，被编为一个编码值，对应上图中第一行的1-7个模式。再加上 全1和全0  共9个

-------------------------------------------以上是经典的LBP，下面是对其一些变种----------------------------------------

变种1、思想：增加幅值信息，增加对噪声鲁棒性

  1. LTP 
           对二值化设定阈值 
           三值编码：使相对中心值变化在t范围内的邻域量化为0；比ic大于t的量化为1；比ic小于t的量化为-1

最后把三值编码转化为正的和负的两部分，2个8bit编码作为特征向量；

  2. CLBP

像素值差分为符号和幅值两项考虑 ，对符号的编码CLBP_S和LBP一样 （ 8位）

对差的幅值Mp编码（8位）：  C为全图像的所有mp的均值

对中心象数值gc编码（2位）：Ci为全图像象数均值

最后构建3D联合直方图CLBP_S/M/C ，列化作为特征向量。

 3.Robust local binary pattern RLBP

参考文献：Completed robust local binary pattern for texture classification，2012

求取区域内像素的均值，替代中心像素点的值。

由于ALG对中心像素值的影响考虑不够，有些时候中心像素包含一些重要信息，因此提出带权值Weighted Local Gray Level (WLG)，

，

 二． 加入局部方差信息（局部对比度）

1. VAR

在训练集上得到局部方差的量化阈值，对局部方差进行量化，与 计算联合直方图，缺点：由于训练和测试图片成像条件不同，训练的量化阈值可能在测试图片上不适合。 

           2.  LBP-V
         将每个点的方差作为编码值的权重，进行直方图累加（类比sitf中按方向累计梯度幅值）。原理：方差大，对应区域变化大，为高频区域，对区分性贡献大，所以对应该处编码权重大

 三． 增加局部梯度信息（类比SIFT）
1. CS-LBP
           对中心对称点的亮度差编码，即编码四方向的梯度符号，缩短编码长度

以下是CS-LBP的两种图示

 2. TP-LBP
           编码某中心像数点的相邻patch的相似度 提取patch-based的信息，是对pixels-based的信息的补充中心patch和邻域patch大小为w*w；邻域半径r，邻域patch个数S，提取相似度信息的邻域间隔a，d(a,b)为a，b patch的相似度，编码局部patch的变化程度

  3. POEM
         首次提出文献：  Face recognition using the POEM descriptor，2012

          编码局部区域个方向patch内的梯度变化信息
         （1） 计算梯度：方向和大小，对方向离散化m个
         （2） 对每点，按离散方向，累积半径为r邻域内的梯度幅值（高斯加权），形成m个累积梯度幅值图像
         （3） 对每个图像，计算半径R，邻域P的LBP，形成m个LBP

 4. LDP
           编码每点的各方向边缘响应强度的变化
        （1） 计算8方向边缘响应

        （2） 取第K主方向值Mk（即第k大的边缘响应幅值）作为阈值，进行二值化形成编码。有C_8_k种编码值

四． 对U-LBP的改进
            1. H-LBP
            层叠的多多尺度LBP

           ULBP将U>2的编码都对归入到一个bin中，丢失了其中的区分信息。半径越大非uniform编码出现频率越高，而大半径中为非uniform的编码在小半径时可能为uniform形式，此时把其编码换为小半径中uniform形式，直至半径缩小为指定大小

五． 减少特征冗余，增加对前景与背景颜色变化鲁棒性

参考文献：OBJECT DETECTION USING NON-REDUNDANT LOCAL BINARY PATTERNS，2010

A novel shape-based non-redundant local binary pattern descriptor for object detection,2013

传统的LBP特征之间存在冗余，而且当前景颜色和背景颜色之间是一对相反颜色时候，其描述的纹理信息应该是一样的，然而传统的LBP得到的LBP特征却是不同的。如下图

其计算公式如下：

与传统的LBP相比较，NRLBP具有以下优点：

1、维度少，计算速度快。

2、增加了对前景与背景颜色之间差异的鲁棒性

六． 增加时空信息

PBP

参考文献： Pyramid binary pattern features for real-time pedestrian detection from infrared videos，2011

PBP在CS-LBP基础上对齐划分多个层次，然后分别求出各个层次的CS-LBP，利用权值将各层的CS-LBP相加即得到2D的PBP。(类似PHOG)如图：

如果在对图像求取2D的PBP特征的时候，考虑多帧图像之间的关联，则就形成了3D的PBP，它不仅包含了平面的纹理信息，也包含了时空信息。

当然对于LBP的研究任然比较热，也还有许多关于LBP的变种