基于语义分割和生成对抗网络的缺陷检测算法

一、缺陷类型

如下图所示，缺陷类型主要有缺损和裂纹两个类型。

二、语义分割网络

FCN网络

网上介绍FCN的教程很多，在这里不再详细讲述，具体请参考链接：

https://www.cnblogs.com/gujianhan/p/6030639.html
https://blog.csdn.net/qq_36269513/article/details/80420363

语义分割网络

U-Net

U-Net的最初提出是为了医学图像的分割，现在被越来越多的应用到其它领域。U-Net的思想还是很简单，具体算法介绍请参考：
https://blog.csdn.net/m_buddy/article/details/79399203
https://baijiahao.baidu.com/s?id=1600400677130320639&wfr=spider&for=pc

U-Net分割网络

DNS缺陷分割网络

DSN（缺陷分割网络）

借鉴FCN和U-Net网络，在这里提出了一种新的语义分割网络，DSN（缺陷分割网络），如上图所示。DSN思想和U-Net思想基本一致，不同的是中间采用残差模块，来加深网络的深度，一般来说，网络越深，对特征的提取越有效。图像数据在送进网络之前，需要对其进行归一化。

分割图像标签的制作

考虑了两种不同的分割方式：一种是不保留背景的分割方式，即把缺陷区域标记为前景标签，把背景区域以及工件的非缺陷区域统一标记为背景标签，这种方式的好处是最终结果为一张二值图，可以直接提取到缺陷的特征;另一种为保留工件图片的背景以及非缺陷区域，仅把缺陷区域标记为易于区分的像素值，这种标记方法可以使结
果与原图的对比更加直观，且利用多种标签可以实现对不同缺陷的分类，便于系统的扩展。充分考虑两种分割方法的优缺点，认为后者更适合本系统，因为它能为系统提供更直观的分割效果，便于人工监督，与此同时，系统的可扩展性对于技术的推广至关重要。

由于目的是需要找到位于工件表面的缺陷区域，没有必要关注工件中的非缺陷区域以及背景区域的像素分类问题，所以在标记时只需要对缺陷区域像素替换为特定的标签值，而使其他区域像素值不做改变。为了方便后续采用连通区域标记法进行后续判别，该标签值必须易于和原图区分。采用三原色之中的红色，像素值为(255, 0, 0 )，作为缺陷标签，这个标签对比原图其他区域区分度明显，可以使用简单阈值分割法实现分割，是理想的缺陷
像素标记值。与此同时࿰