数字图像处理—图像纹理特征

在传统图像特征中，图像特征分析主要有以下方法：

1. 颜色特征（颜色矩–颜色集–颜色聚合向量–颜色相关图） 【参考文章】
2. 颜色直方图（RGB-HSV-LAB-Gray） 【参考文章】
3. 颜色量化 【参考文章】 ,【或者查看】
4. bin的选取（忽略数值较小的bin区间）【参考文章】
5. 角点特征匹配 【参考文章】

一、纹理特征的特点

优点：

包含多个像素点的区域中进行统计计算；
常具有旋转不变性；
对于噪声有较强的抵抗能力；

缺点：

当图像的分辨率变化的时候，所计算出来的纹理可能会有较大偏差；
有可能受到光照、反射情况的影响；
从2-D图像中反映出来的纹理不一定是3-D物体表面真实的纹理；

二、特征提取—纹理

纹理特征反映了物体本身的属性，有助于将两种不同的物体（或者两幅图像）区别开来。
纹理是图像像素点灰度级或颜色的某种变化，反复出现纹理基元和它的排列规则，而且这种变化是空间统计相关的。构成纹理特征的两个要素：

1. 纹理基元：由一定的形状和大小多种图像基元的组合叫纹理基元。
2. 纹理是由纹理基元排列组合而成的。基元排列的疏密，周期性，方向性等的不同，能使图像的外观产生极大地改变。

2.1 纹理分析

纹理分析的目的：指通过一定的图像处理技术提取出纹理特征参数,从而获得纹理的定量或定性描述的处理过程。

纹理分析：
检测出纹理基元；获得有关基元排列分布方式的信息；指通过一定的图像处理技术抽取出纹理特征，获得纹理的定量或定性描述的处理过程。它首先从像素出发，检测出纹理基元，并找到纹理基元排列的信息，建立纹理基元模型。

纹理分析方法：
常用的纹理特征提取方法一般分为四大类：

1. 基于统计的方法：灰度共生矩阵【查看】、灰度行程统计、灰度差分统计、局部灰度统计、半方差图、自相关函数等
   优点：方法简单，易于实现。
   缺点：无法利用全局信息，与人类视觉模型不匹配；计算复杂度较高，计算耗时。
   较为经典的算法为灰度共生矩阵方法，其通过统计不同灰度值对的共现频率得到灰度共生矩阵，基于矩阵可计算出14种统计量：能量、熵、对比度、均匀性、相关性、方差、和平均、和方差、和熵、差方差、差平均、差熵、相关信息测度以及最大相关系数。
   灰度梯度共生矩阵将图梯度信息加入到灰度共生矩阵中，综合利用图像的灰度与梯度信息，效果更好。图像的梯度信息一般通过梯度算子(也称边缘检测算子)提取，如sobel、canny、reborts等。
2. 基于模型的方法：同步自回归模型、马尔可夫模型、吉布斯模型、滑动平均模型、复杂网络模型等
3. 基于结构的方法：句法纹理分析、数学形态学法、Laws纹理测量、特征滤波器等
4. 基于信号处理的方法：Radon变换、离散余弦变换、局部傅里叶变化、Gabor变换、二进制小波变换、树形小波分解等

灰度共生矩阵详情：

1. 生成灰度共生矩阵：取图像(N×N)中任意一点 (x,y )及偏离它的另一点 (x+a,y+b )，设该点对的灰度值为 (g1,g2 )。令点 (x,y) 在整个画面上移动，则会得到各种 (g1,g2)值，设灰度值的级数为 k，则 (g1,g2) 的组合共有 k 的平方种。对于整个画面，统计出每一种 (g1,g2,)值出现的次数，然后排列成一个方阵，再用 (g1,g2) 出现的总次数将它们归一化为出现的概率P (g1,g2)，这样的方阵称为灰度共生矩阵。距离差分值 (a,b) 取不同的数值组合，可以得到不同情况下的联合概率矩阵。 (a，b ) 取值要根据纹理周期分布的特性来选择，对于较细的纹理，选取 (1,0 )、 (1,1)、 (2,0)等小的差分值。

   当 a=1，b=0时，像素对是水平的，即0度扫描；当a=0，b=1 时，像素对是垂直的，即90度扫描；当 a=1，b=1时，像素对是右对角线的，即45度扫描；当 a=-1，b=1时，像素对是左对角线，即135度扫描。

   这样，两个象素灰度级同时发生的概率，就将 (x,y)的空间坐标转化为“灰度对” (g1,g2)的描述，形成了灰度共生矩阵。

2. 灰度共生矩阵特征计算：
   能量：是灰度共生矩阵元素值的平方和，所以也称能量，反映了图像灰度分布均匀程度和纹理粗细度。如果共生矩阵的所有值均相等，则ASM值小；相反，如果其中一些值大而其它值小，则ASM值大。当共生矩阵中元素集中分布时，此时ASM值大。ASM值大表明一种较均一和规则变化的纹理模式。
   $$ASM=\sum _{i=1}^k\sum _{j=1}^k(G(i,j){)}^2$$

   对比度：直接反映了某个像素值及其领域像素值的亮度的对比情况。如果偏离对角线的元素有较大值，即图像亮度值变化很快，则CON会有较大取值，这也符合对比度的定义。其中 。反映了图像的清晰度和纹理沟纹深浅的程度。纹理沟纹越深，其对比度越大，视觉效果越清晰；反之，对比度小，则沟纹浅，效果模糊。灰度差即对比度大的象素对越多，这个值越大。灰度公生矩阵中远离对角线的元素值越大，CON越大。
   C O N = ∑ n = 0 k − 1 n 2 { ∑ ∣ i − j ∣ = n G ( i , j ) } CON = \sum_{n=0}^{k-1}n^2\{\sum_{|i-j|=n} G(i,j)\} CON=n=0∑k−1​n2{∣i−j∣=n∑​G(i,j)}

   熵：是图像所具有的信息量的度量，纹理信息也属于图像的信息，是一个随机性的度量，当共生矩阵中所有元素有最大的随机性、空间共生矩阵中所有值几乎相等时，共生矩阵中元素分散分布时，熵较大。它表示了图像中纹理的非均匀程度或复杂程度。
   $$ENT=-\sum _{i=1}^k\sum _{j=1}^{k}G(i,j)\log G(i,j)$$

   相关性：自相关反应了图像纹理的一致性。如果图像中有水平方向纹理，则水平方向矩阵的COR大于其余矩阵的COR值。它度量空间灰度共生矩阵元素在行或列方向上的相似程度，因此，相关值大小反映了图像中局部灰度相关性。当矩阵元素值均匀相等时，相关值就大;相反，如果矩阵像元值相差很大则相关值小
   $$COR=\sum _{i=1}^k\sum _{j=1}^k\frac{(i,j)G(i,j)-u_i{u}_j}{s_i,s_j}$$

其中：

$u_i={\sum }_{i=1}^k{\sum }_{j=1}^{k}i\cdot G(i,j)$
$u_j={\sum }_{i=1}^k{\sum }_{j=1}^{k}j\cdot G(i,j)$
$s_i^2={\sum }_{i=1}^k{\sum }_{j=1}^{k}G(i,j)(i-u_i{)}^2$
$s_j^2={\sum }_{i=1}^k{\sum }_{j=1}^{k}G(i,j)(j-u_j{)}^2$

综合后的向量就可以看做是对图像纹理的一种描述，可以进一步用来分类、识别、检索等。

3. 计算特征值
   1、滑动窗口选择
   灰度共生矩阵的纹理分析方法需要选择一定大小的滑动窗口，这里对于每一个特征都以5X5和7X7滑动窗口进行了计算。
   2、步距的选择
   通过试验与比较采用d=1的步距比较合适。即中心像元同与之直接相邻的像元做运算和比较。
   3、方向的选择
   通常计算灰度共生矩阵的方向取0° ,45°，90° , 135°四个方向。若是不对这四个方向综合，则在每一方向上都可以得到多类特征，这样得到纹理特征过于繁多，不利于使用。因而又可以对这四个方向的特征值取平均值，通过比较本文取了四个方向的平均值作为最终的特征值共生矩阵。
   纹理特征值的计算及生成
   纹理特征影像生成的主要思想是:用每一个小窗口形成的子影像，通过纹理特征计算程序计算小窗口影像灰度共生矩阵和纹理特征值，然后将代表这个窗口纹理特征值赋值给窗口的中心点，这就完成了第一小窗口的纹理特征计算。然后窗口被移动一个像素形成另外一个小的窗口影像，再重复计算新共生矩阵和纹理特征值。依次类推，这样整个图象就会形成一个由纹理特征值做成的一个纹理特征值矩阵，然后将这个纹理特征值矩阵转换成纹理特征影像。

2.2 分析方法详解

1. 统计方法
   统计方法是基于像素及其邻域的灰度属性，来研究纹理区域的统计特性。统计特性包括像素及其邻域内灰度的一阶、二阶或高阶统计特性等。
   统计方法的典型代表，是一种被称为灰度共生矩阵(GLCM)的纹理分析方法。它是建立在估计图像的二阶组合条件概率密度基础上的一种方法。这种方法通过实验，研究了共生矩阵中各种统计特性，最后得出灰度共生矩阵中的四个关键特征：能量、惯量、熵和相关性。
   尽管GLCM提取的纹理特征具有较好的鉴别能力，但是这个方法在计算上是昂贵的，尤其是对于像素级的纹理分类更具有局限性。并且，GLCM的计算较为耗时，好在不断有研究人员对其提出改进。
   其他的统计方法，还包括图像的自相关函数，半方差图等。

   优点： 方法简单，易于实现。尤其是灰度共生矩阵(GLCM)方法是公认有效方法，有较强的适应性与鲁棒性；
   缺点： 与人类视觉模型脱节，缺少全局信息的利用，难以在研究纹理尺度之间像素的遗传或依赖关系；缺乏理论支撑；计算复杂度较高，制约了实际应用。

2. 几何法
   几何法是建立在纹理基元理论基础上的一种纹理特征分析方法，其中的纹理基元即为基本的纹理元素。纹理基元理论认为，复杂的纹理可以由若干简单的纹理基元按照一定规律的形式重复排列构成。
   在几何法中，比较有影响的算法有Voronio棋盘格特征法。
   但几何法应用和发展极其受限，且后继研究很少。

3. 模型法
   模型法中存在假设：纹理是以某种参数控制的分布模型方式为基础而形成的。
   由于模型法从纹理图像的实现来估计计算模型参数，同时以参数为特征，或采用某种分类策略进行图像分割，所以模型参数的估计是模型法的核心问题。
   模型型纹理特征提取方法以随机场模型方法和分形模型方法为主。

   随机场模型方法：试图以概率模型来描述纹理的随机过程，它们对随机数据或随机特征进行统计运算，进而估计纹理模型的参数，然后对一系列的模型参数进行聚类，形成和纹理类型数一致的模型参数。由估计的模型参数来对灰度图像进行逐点的最大后验概率估计，确定像素及其邻域情况下该像素点最可能归属的概率。随机场模型实际上描述了图像中像素对邻域像素的统计依赖关系。

   分形模型方法：分数维作为分形的重要特征和度量，把图像的空间信息和灰度信息简单而又有机的结合起来，因而在图像处理中备受人们的关注。研究表明，人类视觉系统对于粗糙度和凹凸性的感受与分形维数之间有着非常密切的联系。因此，可以用图像区域的分形维数来描述图像区域的纹理特征。分形维描述纹理的核心问题是如何准确地估计分形维。分数维在图像处理中的应用时以两点为基础：
   (1) 自然界中不同种类的形态物质一般具有不同的分形维；
   (2) 由于研究人员的假设，自然界中的分形与图像的灰度表示之间存在着一定的对应关系。
   随机场模型法的典型方法，如马尔可夫随机场（MRF）模型法、Gibbs随机场模型法、分形模型和自回归模型。

优点：

模型家族的方法能够兼顾纹理局部的随机性和整体上的规律性，并且具有很大的灵活性；
采用随机场模型法对遥感影像纹理特征进行描述并在此基础上进行分割，在很大程度上符合或反映了地学规律；
MRF的主要优点是，它提供了一种一般而自然的用来表达空间上相关随机变量之间的相互作用的模型（它注意到纹理的多分辨率特性，结合图像的分层理论，发展了分层MRF方法、多分辨率MRF方法等，不但可以提高处理效率，而且研究纹理尺度间像素的遗传或依赖关系以取得纹理特征）。

缺点：

由于主要是通过模型系数来标识纹理特征，模型系数的求解有难度；
计算量很大。由于基于MRF模型的纹理图像分割是一个迭代的优化过程，它由局部到全局的收敛速度很慢（即使条件迭代模式(ICM)能加速寻找解），通常需要迭代数百次才能收敛；
参数调节不方便，模型不宜复杂。

4. 信号处理法
   信号处理的方法是建立在时域、频域分析，以及多尺度分析的基础上。这种方法对纹理图像某个区域内实行某种变换后，再提取出能够保持相对平稳的特征值，并以该特征值作为特征，表示区域内的一致性以及区域之间的相异性。
   信号处理类的纹理特征主要是利用某种线性变换、滤波器或者滤波器组将纹理转换到变换域，然后应用某种能量准则提取纹理特征。因此，基于信号处理的方法也称之为滤波方法。大多数信号处理方法的提出，都基于这样一个假设：频域的能量分布能够鉴别纹理。
   信号处理法的经典算法有：灰度共生矩阵、Tamura纹理特征、自回归纹理模型、小波变换等。

优点：

对纹理进行多分辨表示，能在更精细的尺度上分析纹理；
小波符合人类视觉特征，由此提取的特征也是有利于纹理图像分割；
能够空间/频域结合分析纹理特征。

缺点：

正交小波变换的多分辨分解只是将低频部分进行进一步的分解，而对高频部分不予考虑；而真实图像的纹理信息往往也存在于高频部分。小波包分析虽然克服了这一缺点，但对非规则纹理又似乎无能为力；小波多应用于标准或规则纹理图像，而对于背景更复杂的自然图像，由于存在噪声干扰，或者某一纹理区域内的像素并非处处相似，导致正交小波变换往往效果不佳；
计算量较大。

5. 结构分析法
   结构分析法认为，纹理是由纹理基元的类型、数目、以及基元之间的“重复性”的空间组织结构与排列规则来描述的，而且纹理基元几乎具有规范的关系。假设纹理图像的基元可以被分离出来，以基元特征和排列规则进行纹理分割，显然结构分析法要解决的问题，就是确定与抽取基本的纹理单元，以及研究存在于纹理基元之间的“重复性”结构关系。
   由于结构分析法强调纹理的规律性，所以比较适用于分析人造纹理，然而真实世界大量自然纹理通常是不规则的。此外，解耦股的变化是频繁的，所以结构分析法的应用受到很大程度的限制。
   结构分析法的典型算法：句法纹理描述算法、数学形态学方法。

综上所述，在提取纹理特征的有效性方面，统计方法、模型法和信号处理法相较于几何法与结构分析法，可以说相差无几，都获得了认可。

三、衡量直方图间的相似性

• 直方图的均值
• 直方图的方差

直方图统计了相同像素的个数。
直方图的均值：（该区域每一个像素 * 该像素的个数）/ 该区域像素点个数
直方图的方差：（该区域每一个像素 - 均值）^2 *该像素的个数）/ 该区域像素点个数
$$\mathrm{A}\mathrm{v}\mathrm{e}\mathrm{r}\mathrm{a}\mathrm{g}{\mathrm{e}}_1=\frac{\sum z\ast h_1(z)}{\sum h_1(z)}$$

$${\sigma }_1^2=\frac{\sum (z-Averag{e}_1{)}^2\ast h_1(z)}{\sum h_1(z)}$$

直方图统计特征分析法
Kolmogorov–Smirnov检测

1. 求出图像的直方图
2. 第一幅图像直方图中每个像素点的个数-第二幅图像直方图中每个像素点的个数取绝对值，比较出其中的最大值为KS
3. 第一幅图像直方图中每个像素点的个数-第二幅图像直方图中每个像素点的个数取绝对值，求和为SD
4. 最后KS-SD取绝对值，如果在阈值内，则这两幅图像是相似的。

边缘方向直方图分析法
灰度级直方图不能反映图像的二维灰度变化，图像边缘包含有大量的二维信息，取沿着边缘走向的像素的领域，分析其直方图，若在直方图上的某一个灰度范围内具有尖峰，就可以说明在这个范围内，纹理所具有的方向性。
因此，单纯的分析边缘方向的直方图可得到有关纹理的一些信息。