LBP纹理特征论文整理

我头发还挺多的

于 2023-09-15 19:27:20 发布

阅读量234

点赞数

分类专栏：论文文章标签：计算机视觉人工智能

本文链接：https://blog.csdn.net/qq_46573593/article/details/132910048

版权

论文专栏收录该内容

1 篇文章 0 订阅

订阅专栏

LBP

Multiresolution Gray-Scale and Rotation Invariant Texture Classification with Local Binary Patterns（基于局部二分模式的多分辨率灰度以及旋转不变性）

本文提出了一种基于LBP（局部二元模型）的多分辨率灰度和旋转不变的纹理分类方式。该算式对于灰度的任何单调变换都是不变的，图像旋转也不变。

Gray-Scale意为灰度又称灰阶。

灰度化处理时将彩色图像转化为灰度图像的过程。彩色图像分为RGB三个分量，灰度化是使彩色图像的RGB分量相等的过程。灰度值大的像素点比较亮（RGB=（255，255，255）为白色），反之较暗。

当前彩色图像一个像素点的RGB三个分量各有256种取值，即一个像素点可以有1600万种颜色变化，而灰度图像是RGB三值相同的特殊图像，即每个像素点的变化范围只有256种，但仍然反映了整幅图像的色度和高亮等级的分布与特征，极大减小了后续的计算量。因此，图像灰度化处理可以作为图像处理的预处理步骤。
within-class variability是指class内部的可变性，可以理解为内部数据的分散性。

与之对应的是between-class variability，指class之间的可变性。我们希望within-class variability更小，即内部的数据更密集，而between-class variability更大即不同类之间的数据有明显的分界。
本文中将空间结构和对比度视为图像纹理表征的两个重要维度，二者在灰度值和旋转的不变问题上能够实现互补。空间结构主要受旋转影响，而对比度主要受灰度值影响

LBP是很好的表述局部图像纹理的空间结构的算子，而VAR可以表征局部图像纹理的对比度。因此，当我们想主要限制纹理灰度不变时，就可以不使用对比度，而主要使用LBP。如果允许灰度改变，我们就可以引入VAR使用对比度，控制旋转不变。
T：单色纹理图像的局部邻域中的纹理。将T使用p(p>1)个图像像素的灰度级别的联合分布进行表示： $T=t(g_c,g_0,……,g_{P-1})$

其中 $g_c$ 表示局部领域中中心像素的灰度值。 $g_p$ 对应半径为R的圆形对称邻域集上的p个等距像素点的灰度值。（原始的LBP只在周围的3*3邻域内进行计算，不具备旋转不变性）

没有准确落在像素中心的像素的灰度值使用插值进行估计。
实现灰度值不变性：

第一步，在不丢失信息的情况下，令圆形邻域 $g_p$ 的灰度值，分别减去中心像素 $g_c$ 的灰度值，得：

$T=t(g_c,g_0-g_c,g_1-g_c,……,g_{p-1}-g_c)$

注意： $g_0$ 从邻域中心 $g_c$ 的右侧元素开始，逆时针计数。（本文中如此，但网络上还有多种说法）

再，假设 $g_p-g_c$ 独立于 $g_c$ ，这样就可以将T进行因式分解，得到：

$T\approx t(g_c)t(g_0-g_c,g_1-g_c,……,g_{p-1}-g_c)$

在实践中，这种提取是不合理的，会产生一定的损失，但这些损失可以接受。

在上式中 $t(g_c)$ 描述图像的整体亮度，于局部纹理无关。因此纹理特征的大部分信息由之后的联合分布表达：

$T\approx t(g_0-g_c,g_1-g_c,……,g_{p-1}-g_c)$

这样就得到了一个极具纹理鉴别能力的算式，这种差值不受平均亮度变化的影响，因此这一分布对于灰度值的变化是不变的。

我们只考虑差值的符号，而不考虑精确值，来实现关于灰度缩放的不变性：

$T\approx t(s(g_0-g_c),s(g_1-g_c),……,s(g_{p-1}-g_c))$

其中：

这样邻域的 $g_0\thicksim g_{p-1}$ 元素，就可以写成一串二进制数，将该二进制数转化为十进制，即为当前邻域的 $LBP_{P,R}$ :

“局部二进制模式”的命名即意味着将局部邻域中的灰度值化为二进制模式。
实现旋转不变性：

由于每次LBP的计算都是从 $P_c$ 的左上侧作为 $P_0$ 开始计算，因此，旋转必然会导致求得的LBP值不相同。为了解决这一问题，我们重新定义：

其中， $ROR (x, i)$ 会对p位二进制数x，进行i次循环右移。

因此，上式的作用就是遍历p位二进制数的所有可能，从中取出最小的排列顺序作为该邻域的LBP特征。例如在P=8，R=1的情况下，对于连续的4个0和4个1，可以旋转出8种情况：

显然，该模板的LBP值为15。

这种灰度和旋转不变的算式，称为LBPROT。

需要注意的是，角度空间的量化由 $360^{\circ}/P$ 计算得到，即上图中邻域中取得的8个像素点，只能粗略的用 $45^{\circ}$ 来描述。一个简单的解决办法就是取更多的 $P$ ，但在取 $P$ 时有几点必须要考虑：

给定R的圆形领域中只包含有限数量的像素，例如R=1时有9个像素，这给采样点的数量提供了上限。

LBP的查找表中保存预先准备好的合适的p值以及对应的LBP编码模式，可以避免手动计算不同p值下的LBP码，从而减少计算工作量。而过大的p值会导致极大的查找表，这也限制了p值的实际上限。

但随着采样点数的增加，可遍历的二进制模式会急剧增加，导致数据量过大，同时直方图会过于稀疏。

注意：最终是通过LBP的直方图来表达图像信息，横轴为不同的LBP的数值（ $2^p$ 个），纵轴为出现当前LBP的cell数量。可以将直方图视为一个 $2^p$ 的向量。
’uniform‘模式

在实践中发现，某些LBP是纹理的基本特征，在所有存在的模式中可能出现的次数超过90%，我们称这种基本模式为’uniform‘。

这些基本模式有一个共同点：都包含很少的跳变次数。跳变即为二进制串中：01、10这样的变化。为了定义’uniform‘模式，引入均匀性度量U，表示二进制串中的跳变次数。

本文中将U值最多为2的模式定义为’uniform‘，并提出了新的LBP公式：

其中上标riu2代表，使用U最大为2的rotation invariant uniform模式。

通过这种改进，二进制模式的数量大大降低，从原来的 $2^p$ 种减少到 $p (p - 1) + 2$ 种。其中， $p + 1$ 种uniform模式，LBP将其映射到一个唯一的输出，而对于其他的模式，将被统一映射到一个“miscellaneous”输出值，即将产生 $p + 2$ 种输出。**这使得LBP的数值，即直方图的维数降低。

此前的直方图中，由于某些模式出现的比例太少，会导致直方图过于稀疏。经过降维处理后可以更好的表示图像信息。
引入VAR是对LBP的进一步优化，将局部图像纹理的对比度纳入LBP算子中，进一步增强了纹理信息的表达能力，有助于纹理分类。

显然，VAR计算了LBP模式邻域中的方差，反映不同角度上局部纹理特征的变化情况，即对比度，能够更好的了解纹理的结构，进一步提高特征的判别性，同时其对于灰度变化也是不变的。

因此，联合分布 $LBP^{riu2}_{P,R}/VAR_{P,R}$ 被认为是处理局部图像纹理的更加强大的旋转不变度量。
在分类时，通过比较样本和模型直方图的相似性来作为拟合优度的评判标准，这是通过非参数统计检测来测量的。非参数检测是一种统计方法，与参数检验不同的是，它不对数据的概率分布做出假设，因此更加灵活，如卡方检验。

上图中，样本图像记为S，待匹配图像记为M，b代表bin取值的类别，如此前所说，共有 $p + 2$ 种。L(S,M)的值将表示样本S与模型M的相似度，值越大，相似度越高，从而进行纹理分类和识别。

实际操作中，会将图像分为多个Block，每个Block又分为多个cell，对每个cell中进行LBP计算，最后对每个Block进行直方图统计作为图像特征的表述。
多分辨率分析类似CNN中多次卷积，从而检测较大范围内的图像信息。不同大小物体的检测往往需要多种分辨率联合分析。

本文中的多分辨率通过多种（P，R）组合提供的信息来实现，将多个（P，R）条件下的单个对数似然比相加，定义为 $L_N$ ，可以产生多分辨率的结果。

其中N是指不同的（P，R）组合情况，例如在之后的实验中，使用(8,1)、(16,2)、(24,3)三种(P,R)，形成三种2分辨率组合和一种3分辨率组合，即此时N=4。