表面缺陷提取综述

缺陷提取综述

出处：<链接：https://blog.csdn.net/qq_41742361/article/details/111413095?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522163961485916780269827812%2522%252C%2522scm%2522%253A%252220140713.130102334…%2522%257D&request_id=163961485916780269827812&biz_id=0&utm_medium=distribute.pc_search_result.none-task-blog-2_alltop_click~default-4-111413095.first_rank_v2_pc_rank_v29&utm_term=%E7%BC%BA%E9%99%B7%E6%A3%80%E6%B5%8B&spm=1018.2226.3001.4187>

图像缺陷检测大致分为图像处理、图像特征提取、判别方式三个流程

传统缺陷提取

1.1图像处理

需要了解部分：1.伽马变换，基于区域、形态学、阈值的分割 图像复原

完整的工业流程信息包括：图像获取模块，图像处理模块，图像分析模块,数据处理和人机接口模块。

图像处理模块中,分为预处理模块、图像去噪、图像增强与复原、缺陷的检测以及目标分割。

图像预处理阶段：由于光学镜头拍摄时引起一些噪声，因此需要图像去噪，通过中值滤波等方式去除噪声

图像增强：对于不同方向的特征，我们通过图像增强的方式有意识的增强图像在某些方面的差异，更便于识别出缺陷，常用的方法有直方图均衡化，伽马变换，增强的特征方向一般是颜色，亮度，对比度。

图像复原：这一步也是为了解决图像获取过程中的一些不良操作带来的图像模糊，例如图像运动导致的加性噪声，运动模糊的复原等。

图像分割：有时候，我们对于图像的不同的感兴趣的区域不同，因此需要基于不同的感兴趣的点进行图像的分割。例如，在工业缺陷中，我们感兴趣的是图像中的缺陷点，因此需要把图像分割，理想的分割的区域应该是：每个区域内部的缺陷的特征相似，不同的区域之间的特征明显不同。一般我们常用的阈值的分割方法有：基于阈值的分割方法，基于区域的分割方法，基于形态学分水岭的方法进行分割。从这里我们可以看出，图像的分割所基于的分割方式只是把缺陷进行一个大致的分类，把相近的特征缺陷放在一起，我们这里有没有更好的方法进行区域分割，使得分割的区域更加多样一样，这样后面的特征提取也会提取的更加准确一点。

1.2提取特征：

需要了解部分：1.图像的矩形度、细长度、圆形度、致密度、不变矩，颜色直方图的方法,主成分分析法 2.频谱法

图像缺陷特征提取，目的是提取图像的准确、完整、不冗余的图像，也就是说图像特征提取需要努力的方向主要是三个：缺陷要提取的准确，因此不能把不是缺陷的特征的部分提取出去；完整就是说我们提取的缺陷部分需要全部展示出来；不冗余，表示我们对特征进行概括的时候，不能建立太多的特征，意即要将特征尽可能的精简，否则会导致特征向量维度空间过大，导致后续判别算法的复杂性极高；但是提取的特征太精简的时候，又会导致图像缺陷造成漏检和误检，这是一个矛盾点。

业内常用的提取的特征是：几何特征、形状特征、纹理特征、颜色特征和灰度特征。

下面对常用的特征进行说明：

几何特征；一般用缺陷区域的周长、面积、位置、质心进行表示，周长面积等，我们可以通过通过轮廓像素点数和内部像素点数确定。

形状特征：形状特征主要指的是图像的矩形度、细长度、圆形度、致密度、不变矩、偏心率等，对形状特征的描述主要是基于轮廓和形状区域的方式，区别只在于这种形状是在轮廓还是形状区域中描绘。形状特征是缺陷检测中最重要的特征。

纹理特征：常见的工件表面的纹理均匀，其像素分布呈现周期性的表面排列方式，而缺陷并非如此。常用的判断纹理特征的方式有频谱法和统计法：统计法是通过直方图方法的图像的矩对图像表面纹理进行描述；频谱法是通过傅里叶分析的方法描述图像的细小的缺陷变化。

颜色特征：颜色的特征具有一定的平移不变性，旋转、鲁棒性较强。常用的方法是图像直方图方法、颜色聚合向量、颜色矩方法进行提取。

灰度特征：灰度的特征提取一般通过直方图的信息（方差、熵信息）获得。

在实际的缺陷图像检测方面，我们常常是把这些图像的特征信息进行综合，得到综合性的缺陷特征，以此进行检测。但是实际项目经验常常遇到的问题是:图像特征太多，导致特征向量维度过高，造成维度灾难，因此可能要通过主成分分析的方法（PCA）进行降维，但同时也要注意，维度太少会造成检测不准确。

可以看出，基于人工特征提取的方式，对于特征的信息综合，主成分方法降维这些步骤非常依赖于图像工程师的经验，项目实施难度大。

1.3判别模型

所需要知识点：支持向量机，聚类方法

提取出缺陷的特征以后，我们就需要对不同的缺陷进行分类，因此判别模型的方法本质上是进行多类型分类，常用的分类器有BP神经网络、K_means方法、支持向量机方法。

BP神经网络：神经网络具有自适应、非线性特征，可以根据统计特征建立自动识别缺陷分类的系统，广泛用于缺陷检测。[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-4THaKJWo-1639634238326)(file:///C:\Users\rsopto\AppData\Local\Temp\ksohtml\wps4463.tmp.jpg)]

支持向量机方法：支持向量机方法主要是建立不同类之间的超平面，其特性是最大间隔原则，即分类器数据和训练类别数据保持着最大距离。因此这种方法的优点就是泛化能力比较好。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Kbq7Kzpt-1639634238328)(file:///C:\Users\rsopto\AppData\Local\Temp\ksohtml\wps4464.tmp.jpg)]

K_means方式：k_mean方法通过将一个集合内的数据具有若干种属性，通过不同的属性将数据分成若干个集合，使得集合内的数据之间属性差异较小，集合之间的差距较大。这种方法和前面两种不同，前面两种是有监督学习，最后这种是无监督学习方式。这种算法适合于不知道具体由多少种缺陷的数据集，让图像通过这种方式进行分类。这种方法具有较好的分类能力。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-0kgYRWPb-1639634238329)(file:///C:\Users\rsopto\AppData\Local\Temp\ksohtml\wps4475.tmp.jpg)]

通过以上的描述，我们可以看出人工检测图像缺陷的方式，存在着以下缺点：

\1. 提取图像特征的时候，形状特征、纹理特征等都要逐个提取，工作量比较大

\2. 对于图像特征空间进行组合的时候，特征少了，检测不准确了；特征多了，导致维度灾难，因此对于工程师的经验要求比较高，

\3. 当图像缺陷特征相似的时候，通过人工的方式很难准确对其进行分类，最后对图像分类的时候必然是不准确的。

\4. 基于人工特征的方式处理环节较多，很难做到模型迁移。

基于深度学习的特征自提取的方式

基于深度学习的通过卷积神经网路自动提取图像中的缺陷，深度学习算法的特征自提取能力使得网络可以自动学习图像中的特征，从局部缺陷特征到整体理解，从结构信息到语义信息，将其分散到深度学习的不同层中，最终形成对缺陷目标的整体认知。特征自提取比人工提取理解更深刻，精度更高。

目前深度学习检测缺陷的任务主要分为三类：分类，判断图像中是否存在缺陷；目标检测，判断图像中是否存在缺陷并且判断出具体是哪一种缺陷，并且用矩形框圈出来，常用的网络有Faster R-CNN、YOLOv3、SSD网络；图像分割，判断图像中每一个像素所处的位置属于什么目标物类型，常用的网络有Mask R-CNN、DeepLabv3。目前表面缺陷的任务主要是图像目标检测和图像分割两种。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-ON29mExp-1639634238330)(file:///C:\Users\rsopto\AppData\Local\Temp\ksohtml\wps4476.tmp.jpg)]