基于语义分割和生成对抗网络的缺陷检测算法

最新推荐文章于 2025-03-20 09:27:59 发布
最新推荐文章于 2025-03-20 09:27:59 发布
阅读量1.2w 收藏 119
点赞数 6
分类专栏： 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_29462849/article/details/83825117
版权
本文探讨了基于语义分割网络（如FCN、U-Net和DSN）的缺陷检测，并介绍了如何利用生成对抗网络（GAN）改进DSN，尤其是针对小缺陷的检测。DSN-GAN通过联合训练和判别式网络提供更精确的反馈，提升分割性能。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

一、缺陷类型

如下图所示，缺陷类型主要有缺损和裂纹两个类型。
在这里插入图片描述

二、语义分割网络

FCN网络

网上介绍FCN的教程很多，在这里不再详细讲述，具体请参考链接：

https://www.cnblogs.com/gujianhan/p/6030639.html
https://blog.csdn.net/qq_36269513/article/details/80420363

在这里插入图片描述

语义分割网络

U-Net

U-Net的最初提出是为了医学图像的分割，现在被越来越多的应用到其它领域。U-Net的思想还是很简单，具体算法介绍请参考：
https://blog.csdn.net/m_buddy/article/details/79399203
https://baijiahao.baidu.com/s?id=1600400677130320639&wfr=spider&for=pc

在这里插入图片描述

U-Net分割网络

DNS缺陷分割网络

在这里插入图片描述

DSN（缺陷分割网络）

借鉴FCN和U-Net网络，在这里提出了一种新的语义分割网络，DSN（缺陷分割网络），如上图所示。DSN思想和U-Net思想基本一致，不同的是中间采用残差模块，来加深网络的深度，一般来说，网络越深，对特征的提取越有效。图像数据在送进网络之前，需要对其进行归一化。

分割图像标签的制作

在这里插入图片描述

考虑了两种不同的分割方式：一种是不保留背景的分割方式，即把缺陷区域标记为前景标签，把背景区域以及工件的非缺陷区域统一标记为背景标签，这种方式的好处是最终结果为一张二值图，可以直接提取到缺陷的特征;另一种为保留工件图片的背景以及非缺陷区域，仅把缺陷区域标记为易于区分的像素值，这种标记方法可以使结
果与原图的对比更加直观，且利用多种标签可以实现对不同缺陷的分类，便于系统的扩展。充分考虑两种分割方法的优缺点，认为后者更适合本系统，因为它能为系统提供更直观的分割效果，便于人工监督，与此同时，系统的可扩展性对于技术的推广至关重要。

由于目的是需要找到位于工件表面的缺陷区域，没有必要关注工件中的非缺陷区域以及背景区域的像素分类问题，所以在标记时只需要对缺陷区域像素替换为特定的标签值，而使其他区域像素值不做改变。为了方便后续采用连通区域标记法进行后续判别，该标签值必须易于和原图区分。采用三原色之中的红色，像素值为(255, 0, 0 )，作为缺陷标签，这个标签对比原图其他区域区分度明显，可以使用简单阈值分割法实现分割，是理想的缺陷
像素标记值。与此同时࿰

最低0.47元/天 解锁文章
基于生成对抗网络的有遮挡人脸修复方法
罗伯特技术屋
12-24 1856
本文综合考虑图像内容相似性、真实性和生成的图像连贯性,提出一种由单一生成器和双判别器组成的生成对抗网络,将生成器生成的人脸被遮挡部分输入局部判别器,并将其与去除遮挡部分的原始人脸图像融合后输入全局判别器,提升生成器的稳定性及精确性。针对实际应用场景,以图像内容相似性为生成对抗网络输入条件,提高了网络的收敛效率和稳定性,可进一步优化网络结构、降低层间损失以提升生成图像的质量。将生成器生成的人脸图像与去除遮挡部分的原始人脸图像进行图像融合。将遮挡图像作为生成器的条件生成无遮挡的人脸图像。
OpenCV与AI深度学习 | 基于GAN的零缺陷样本产品表面缺陷检测
csdn_xmj的博客
08-04 1460
缺陷检测是工业生产过程中的关键环节，其检测结果的好坏直接影响着产品的质量。而在现实场景中，但产品瑕疵率非常低，甚至是没有，缺陷样本的不充足使得需要深度学习缺陷检测模型准确率不高。如何在缺陷样本少的情况下实现高精度的检测呢？目前有两种方法，一种是小样本学习，另一种是用GAN。本文将介绍一种GAN用于无缺陷样本产品表面缺陷检测。
基于语义分割的钢材表面缺陷检测算法
WithCodeAI的博客
08-09 949
基于语义分割的钢材表面缺陷检测算法
基于语义分割网络的小样本表面缺陷检测
04-16
传统工业产品表面缺陷的检测很多时候都依赖于人工肉眼去识别，这严重降低了产品的生产速度，在一定程度上阻碍了社会生产力的进步。为了提高检测效果，降低人工成本，提出了一种基于语义分割网络UNet的小样本表面缺陷检测方法，该方法在UNet网络基础上作了两个方面的改进，在UNet网络基础上加入BN层，将UNet网络和残差网络结合起来，在UNet网络的下采样过程中，加入残差块结构，并分别对加入3、5、7个残差块的检测效果进行了验证实验。实验结果表明，UNet网络加入BN层后的分割检测效果有一定的提高，加入残差块之后，网络缺陷检测效果得到进一步的提升。
跨粒度小样本语义缺陷分割新范式：MFANet与FASNet助力无缝钢管内表面缺陷检测
最新发布
CooVally_AI的博客
03-20 786
数据集包含：图像级标注的疑似缺陷筛分数据集（图2）和像素级标注的缺陷分割数据集（图3）。研究团队构建了一个名为CGFSDS-9的跨粒度小样本缺陷分割数据集，包含3类粗粒度标注的缺陷（如带钢、铝合金和磁瓦）和6类细粒度标注的无缝钢管缺陷。该模型基于元学习框架，嵌入了缺陷特征聚合模块（图8）和多尺度特征解码器（图9），能够在边缘设备上高效运行，适用于实时检测场景。针对检测机器人采集的图像中存在样本不平衡问题（无缺陷样本远多于缺陷样本），研究团队提出了基于MobileNet系列的疑似缺陷筛分模型。
基于生成对抗网络完成小表面缺陷检测
3D视觉工坊
03-08 2444
文章：Deep Learning-based Small Surface Defect Detection via an Exaggerated Local Variation-based...
基于U-Net+残差网络的语义分割缺陷检测
qq_29462849的博客
12-03 1万+
一、介绍 基于深度学习的缺陷检测主要集中在场景识别、object detection等方法，近年来，推出了一系列优秀的语义分割模型，比如SegNet、FCN、U-Net等。语义分割模型被广泛的应用到场景识别、道路分割等领域中，缺陷检测领域也逐渐接受该模型。 本博文主要关注和实现基于U-Net的语义分割模型。 二、U-Net 如下图所示，这是U-Net的核心思想，从编码到解码，编码过程就是下采样，解...
图像语义分割在皮肤检测，缺陷检测上的应用。
u010451780的专栏
11-02 1616
https://edu.51cto.com/course/18817.html http://www.xjishu.com/zhuanli/55/201910751564.html 背景技术： 人的脸部皮肤状况因人而异，常见的问题有毛孔粗大、皱纹多、存在大量红血丝、皮肤出油过多等。随着物质水平提高，在生活中人们愈发关心起自己的皮肤肤质问题。而现有的技术，想要了解自身肤质情况，一般需要去专业美容医院寻求医生进行诊断。但是通过这种方式存在一定问题，一是不够便捷，二是仅凭从业人员的经验判断也会存在一定的误差
使用PyTorch和U-Net架构来实现钢材表面缺陷语义分割检测 3630张图片和对应掩码，三种缺陷类型（夹杂物、补丁、划痕）
QQ_1309399183的博客
12-20 636
使用PyTorch和U-Net架构来实现钢材表面缺陷语义分割检测 3630张图片和对应掩码，三种缺陷类型（夹杂物、补丁、划痕）
【万字】一文教会你关于“生成对抗网络GAN”的所有知识
qq_40379132的博客
06-24 5078
GAN的英文全称是Generative Adversarial Network，中文名是生成对抗网络。它由两个部分组成，生成器和鉴别器（又称判别器），生成网络（Generator）负责生成模拟数据；判别网络Discriminator）负责判断输入的数据是真实的还是生成的。生成网络要不断优化自己生成的数据让判别网络判断不出来，判别网络也要优化自己让自己判断得更准确。它们之间的关系可以用竞争或敌对关系来描述。​ 在GAN的原作中，作者将生成器比喻为印假钞票的犯罪分子，判别器则类比为警察。
对抗生成网络GAN系列——f-AnoGAN原理及缺陷检测实战
秃头小苏的博客
11-18 7796
深度学习网络原理与实战。目前专栏主要更新了GAN系列文章和Transformer系列文章，都有理论详解和代码实战，文中的讲解都比较通俗易懂，如果你希望丰富这方面的知识，建议你阅读试试，相信你会有蛮不错的收获。🍸🍸🍸[1]对抗生成网络GAN系列——AnoGAN原理及缺陷检测实战[2]对抗生成网络GAN系列——GANomaly原理及源码解析[3]对抗生成网络GAN系列——WGAN原理及实战演练[1]是利用GAN网络实现缺陷检测的开山之作，也算是这篇文章的基础，所以这是你必须要读且要理解透彻的。
Python-基于分割的深度学习表面缺陷检测方法的一个Tensorflow实现
08-11
（秒杀 DeepLabV3 和Unet 的缺陷检测网络）基于分割的深度学习表面缺陷检测方法(cvpr2019)的一个Tensorflow实现
表面缺陷和瞬时分割功能
03-29
我们研究了五维SCFT的超保形指数和具有八个超荷的二维量规理论的球面分配函数，这些维具有两个半BPS缺陷共维。 我们得出了对缺陷有效的处方，可以给出“涡旋结构”，即可以在较大的理论中由涡旋构型的RG流量定义。 我们根据已知结果和预期对偶性对处方进行测试。 我们采用我们的处方来开发针对缺陷的通用计算策略，该策略通过将体积自由度与生活在二维空间中的Gauged Linear Sigma模型耦合来定义。
对抗生成网络GAN系列——AnoGAN原理及缺陷检测实战
秃头小苏的博客
10-24 1万+
随着深度学习的发展，已经有很多学者将深度学习应用到物体瑕疵检测中，如列车钢轨的缺陷检测、医学影像中各种疾病的检测。但是瑕疵检测任务几乎都存在一个共同的难题——缺陷数据太少了。我们使用这些稀少的缺陷数据很难利用深度学习训练一个理想的模型，往往都需要进行数据扩充，即通过某些手段增加我们的缺陷数据。【数据扩充大家感兴趣自己去了解下，GAN网络也是实现数据扩充的主流手段】上面说到的方法是基于缺陷数据来训练的，是有监督的学习，学者们在漫长的研究中，考虑能不能使用一种无监督的方法来实现缺陷检测呢？
万字长文细说工业缺陷检测
极市平台的技术博客
07-23 3190
作者丨皮特潘 编辑丨极市平台 注意：本文从我的一个PPT整理而来，行文可能比较随意，很多细节没有写清楚，后续有时间会持续修改。 上次说到，要写一个系列，最后整理才发现，还是合成一篇比较好一点。 [皮特潘：AI 工业缺陷检测 —— 写在前面的话zhuanlan.zhihu.com(https://zhuanlan.zhihu.com/p/375383384) 主要内容还是围绕着场景分析与数据理解、方法论与算法设计、工具链与部署落地等方面进行展开。重点关注的还是顶层设计，因此涉及到的很多具体的细节没有说太多，仁
深度学习实现缺陷检测算法汇总
热门推荐
qq_29462849的博客
02-17 2万+
作者：Tom Hardy Date：2020-1-6 来源：总结|深度学习实现缺陷检测 前言 缺陷检测是工业上非常重要的一个应用，由于缺陷多种多样，传统的机器视觉算法很难做到对缺陷特征完整的建模和迁移，复用性不大，要求区分工况，这会浪费大量的人力成本。深度学习在特征提取和定位上取得了非常好的效果，越来越多的学者和工程人员开始将深度学习算法引入到缺陷检测领域中，下面将会介绍几种深度学习算法在缺陷...
制造业中的微小缺陷检测——应用场景分析与算法选择(YoloV8/CANet)
知来者逆的博客
10-24 8512
在制造业中，小缺陷的检测是一个具有挑战性的问题，因为它们通常具有较少的像素覆盖，缺乏足够的关注和语义信息。现有的卷积检测方法忽视了上下文的长程依赖，并且缺乏自适应融合策略来利用异构特征。 深度学习方法在检测小缺陷时通常表现较差，因为少数像素的覆盖缺乏细节，如异常值、边缘和纹理，导致语义不足和感知困难。此外，来自实际工业环境的图像通常受到背景光反射、模糊和污垢等污染，使得难以从背景中区分轮廓并专注于小缺陷。
钢材表面缺陷检测
03-09
<think>好的，我现在需要帮助用户了解钢材表面缺陷检测的方法、技术和应用。首先，我需要整理用户提供的参考资料，并确保回答符合系统级指令的要求。用户引用了两篇文献，都是关于使用深度学习技术（YoloV5和UNet）进行钢材表面缺陷检测的，所以重点应该放在基于深度学习的方法上。 首先，按照用户的指示，回答需要结构清晰，分点说明方法、技术和应用。同时，用户要求生成相关问题，并且正确使用LaTeX格式，行内公式用$...$，独立公式单独成段用$$...$$。不过目前用户的问题主要是关于方法、技术和应用，可能涉及数学公式的地方可能不多，但如果有的话需要注意格式。 接下来，我需要回顾引用内容。引用[1]提到基于YoloV5的系统在实时检测中的应用，引用[2]则提到UNet算法用于自动检测。因此，在方法部分，我需要将传统方法和深度学习方法分开，重点在深度学习模型如YOLO和UNet。技术要点可能包括数据预处理、模型训练、实时检测等。应用部分则涉及生产线、质量控制和拓展到其他材料。 需要确保回答中每个引用都自然标注，例如在提到YoloV5时添加[^1]，提到UNet时添加[^2]。同时，生成的相关问题应该围绕这三个方面，比如传统与深度学习的对比、模型优化、应用扩展等。 现在开始组织内容： 1. 检测方法：分为传统图像处理和深度学习。传统方法可能包括阈值分割、边缘检测等，但引用中强调深度学习的优势。因此要重点介绍YOLO和UNet，以及它们的结合。 2. 关键技术：数据增强、多尺度检测（YOLO）、实时处理、迁移学习等。需要提到如何用这些技术提升检测效果。 3. 应用场景：生产线实时检测、质量评估、其他金属材料。引用中的内容可以直接应用。 在写作过程中要注意LaTeX的正确使用，例如数学公式可能需要用$...$包裹，比如损失函数或其他算法中的公式。不过当前主题可能涉及的数学较少，但如果有的话要正确处理。 最后生成相关问题，例如比较不同算法、优化模型的方法、实际应用挑战等，确保问题与内容相关，并符合用户提供的示例结构。 现在检查是否有遗漏，确保每个部分都有引用支持，并且格式正确。可能还需要确认是否有其他技术细节需要补充，比如数据预处理的具体方法，或者模型架构的细节，但用户可能不需要过于深入的技术细节，所以保持简明扼要。</think>### 钢材表面缺陷检测方法、技术与应用 #### 一、检测方法 1. **传统图像处理方法** 早期方法依赖图像处理技术，例如： - **阈值分割**：通过设定像素灰度阈值分离缺陷区域。 - **边缘检测**：使用算子（如Sobel、Canny）提取缺陷轮廓。 - **形态学操作**：对图像进行腐蚀、膨胀以增强特征。 但传统方法对复杂背景和微小缺陷敏感，鲁棒性较差[^2]。 2. **深度学习方法** 基于卷积神经网络（CNN）的算法显著提升了检测精度： - **目标检测模型**：如YoloV5，通过多尺度特征融合实现实时检测，公式中损失函数可表示为： $$L = \lambda_{\text{coord}} \sum_{i=0}^{S^2} \sum_{j=0}^B L_{\text{box}}} + L_{\text{cls}} + L_{\text{obj}}$$ 其中$L_{\text{box}}$为边界框回归损失，$L_{\text{cls}}$为分类损失[^1]。 - **语义分割模型**：如UNet，利用编码器-解码器结构精确分割缺陷区域，输出概率图$P(x,y) \in [0,1]$表示缺陷像素位置[^2]。 - **混合方法**：结合目标检测与分割，先用YoloV5定位缺陷，再用UNet分析细节。 #### 二、关键技术 1. **数据增强与预处理** - 采用旋转、翻转、添加噪声等方式扩充数据集，提升模型泛化能力。 - 使用归一化（如$z = \frac{x-\mu}{\sigma}$）平衡光照差异。 2. **多尺度检测与实时性优化** - YoloV5通过特征金字塔网络（FPN）捕捉不同尺度缺陷。 - 模型轻量化技术（如通道剪枝、量化）降低计算成本，满足产线实时需求。 3. **迁移学习与领域适配** - 在ImageNet预训练的骨干网络上微调，适应钢材表面数据分布。 - 使用对抗生成网络（GAN）合成缺陷样本，解决数据稀缺问题。 #### 三、应用场景 1. **钢铁生产线** - 实时检测轧制、切割过程中的划痕、裂纹等缺陷，响应时间<50ms。 - 与机械臂联动，自动分拣不合格产品。 2. **质量评估与工艺优化** - 统计缺陷类型分布（如氧化铁皮占比$P_{\text{defect}}=N_{\text{defect}}/N_{\text{total}}$），指导工艺参数调整。 3. **跨材料扩展应用** - 算法可迁移至铝板、铜材等金属表面检测，泛化误差<5%。 ```python # 示例：基于YoloV5的缺陷检测代码片段 import torch model = torch.hub.load('ultralytics/yolov5', 'yolov5s', pretrained=True) results = model(img_tensor) results.show() # 标注缺陷位置与类别 ```
评论 13
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值