图像的特征提取可理解为从高维图像空间到低维特征空间的映射,是基于机器视觉的表面缺陷检测的重要一环,其有效性对后续缺陷目标识别精度、计算复杂度、鲁棒性等均有重大影响。特征提取的基本思想是使目标在得到的子空间中具有较小的类内聚散度和较大的类间聚散度。目前常用的图像特征主要有纹理特征、颜色特征、形状特征等。
纹理是表达图像的一种重要特征,它不依赖于颜色或亮度而反映图像的同质现象,反映了表面结构组织排列的重要信息以及它们与周围环境的联系。与颜色特征和灰度特征不同,纹理特征不是基于像素点的特征,它需要在包含多个像素点的区域中进行统计计算,即局部性;同时,局部纹理信息也存在不同程度的重复性,即全局性。纹理特征常具有旋转不变性,并且对于噪声有较强的抵抗能力。基于的纹理特征提取方法有统计法、信号分析法、模型法、结构法和几何法。
统计方法将纹理看用随机现象,从统计学的角度来分析随机变量的分布,从而实现对图像纹理的描述。直方图特征是最简单的统计特征,但它只反映了图像灰度出现的概率,没有反映像素的空间分布信息;灰度共生矩(GLCM)是基于像素的空间分布信息的常用统计方法;局部二值模式(LBP)具有旋转不变性和多尺度性、计算简单;此外,还有行程长度统计法、灰度差分统计法等,因计算量大、效果不突出而限制了其应用。
1. 直方图特征
直方图特征方法计算简单、具有平移和旋转不变性、对颜色像素的精确空间分布不敏感等,所以在表面检测、缺陷识别得到不少应用。
2. 灰度共生矩灰度共生矩是一种广泛应用的使用统计特征来描述纹理的方法。灰度共生矩阵就是从图像灰度级为的像素出发,统计与其距离为、灰度级为的像素同时出现的概率。一般取0°、45°、90°和135°这4个方向。灰度共生矩阵反映了图像灰度关于方向、相邻间隔、变化幅度的综合信息,所以可以作为分析图像基元和排列结构的信息。
3. 局部二值模式(LBP)局部二值模式的纹理基元,是一个简单但非常有效的纹理运算符。LBP将各个像素与其附近的像素进行比较,并把结果保存为二进制数,即它用二进制位表达局部邻域点与中心点的关系,所有邻域点的二进制位用来描述局部结构信息的模式。LBP对诸如光照变化等造成的图像灰度变化具有较强的鲁棒性,所以局部二值模式算法已广泛应用于表面缺陷检测,同时,在指纹识别、光学字符识别、人脸识别及车牌识别等领域也有应用。由于LBP计算简单,也可以用于实时检测。
4. 自相关函数法自相关函数法从图像的自相关函数提取纹理特征,即通过对图像的能量谱函数的计算,提取纹理的粗细度及方向性等特征参数。对于规则纹理图像,因其自相关函数具有波峰和波谷,故可用其进行表面检测,但自相关函数法不适用于不规则纹理图像。
5. 信号处理法将图像当作二维分布的信号,从而可从信号滤波器设计的角度对纹理进行分析。信号处理方法也称滤波方法,即用某种线性变换、滤波器(组)将纹理转到变换域,然后应用相应的能量准则提取纹理特征。基于信号处理的方法主要有傅里叶变换、Gabor滤波器、小波变换、Laws纹理、LBP纹理等。
6. 傅里叶变换方法傅里叶变换是基于频率的分析方法,傅里叶变换将图像变换到频率域上使用频谱能量或频谱熵等特征来表达纹理。纹理图像在空间分布上具有一定的周期性,其功率谱具有离散性和规律性;对于方向性纹理,方向性会在傅里叶频谱中很好的保持;对于随机性纹理,频谱的响应分布并不限制到某些特定的方向。
根据相对于频率中心位置距离的频谱分布情况,可以大致判断纹理图像的相对粗糙程度。对于粗糙纹理,其纹理基元尺寸较大,图像的低频信号较多,功率谱的能量主要集中在离频率中心位置较近的低频区域;相反,对于基元尺寸较小的细致纹理,图像含有的高频信息较多,功率谱的能量分布较为分散,主要集中在距离频率中心位置较远的高频区域。但是,傅里叶变换作为一种全局性的变化,仍有一定的局限性,如不具备局部化分析能力、不能分析非平稳信号等。
7. Gabor滤波方法尽管傅里叶变换在信号频域分析中有着重要作用,但它只能对整个时间段的信号的频率进行分析,没有信号的空间局部信息的刻画能力,如当需要对局部的图像纹理细节进行分析时,傅里叶变换无能为力。为克服傅里叶变换不能局部化分析的缺点,短时窗口傅里叶变换(STFT)被提出,它通过在变换时增加一个窗函数来实现,当窗函数是Gaussian函数时,即得到Gabor变换。
Gabor滤波方法模拟了人类视觉感觉特性,具有很好的频率选择性和方位选择性。使用Gabor滤波器提取纹理特征的主要过程是:先设计滤波器,再从其输出结果中提取特征。滤波器设计包括单个滤波器参数的设计和滤波器组的布局。滤波器的输出结果可作为纹理特征,但维数较高,为此,常采用斯平滑处理、Gabor能量特征、复矩特征、独立成分分析等后处理方法以降低特征集的数据量。对于二维数字图像,研究者们提出了二维Gabor函数形成的二维Gabor滤波器。
8. 小波变换方法傅里叶变换没有局部分析能力,STFT虽然在一定程度上改善了这种局限性,但采用的的滑动窗函数一经选定就固定不变,故决定了其时频分辨率固定不变,不具备自适应能力,而小波分析很好的解决了这个问题。小波变换通过伸缩和平移等运算功能对函数或信号进行多尺度细化分析,达到高频处时间细分,低频处频率细分,能自动适应时频信号分析的要求,从而可聚焦到信号的任意细节。
图像纹理往往表现为多尺度特征,对图像进行小波分解后,得到不同分辨率的一系列图像;不同分辨率的图像由代表不同方向信息的一系列高频子带图像构成,高频子带图像反映了图像的纹理特征。
传统的金字塔小波变换仅对低频部分进行了分解,而纹理图像的高频部分可能也含有重要的特征信息,小波包分解或是树结构小波分解则可克服这一缺点。小波变换方法提取图像特征以进行表面缺陷检测已有大量的应用[95-98]。
9. Laws纹理Laws模板的纹理描述方法通过使用简单模板处理纹理图像,从而对纹理图像的特征进行描述。它使用一组小的模板对纹理图像卷积,对卷积后的图像的每一个像素的邻域进行统计计算,将统计量作为对应像素的纹理特征。