【经典分割网络】网络+模块+数据集+实验结果（整理中。。

已于 2022-11-09 23:42:44 修改
阅读量1k 收藏 3
点赞数
分类专栏： 工业缺陷检测 文章标签： 网络 深度学习 计算机视觉
于 2022-09-20 14:17:12 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44505185/article/details/126927922
版权

KolektorSDD数据集中包
含了 50组电子换向器图片，其中每组包含 8张图
片以及对应的语义分割标签，图像宽均为 500像
素，高为 1 240~1 273像素

1、FCN

2、U-net

3、PSPnet

4、deeplab

5、seg-net

6、Refinenet

[CVPR 17]RefineNet: Multi-Path Refinement Networks for High-Resolution Semantic Segmentation

提出了一套网络架构以实现高精度的语义分割任务。从网络结构来看，是U-Net的一个变种。文章的主要贡献和创新在于U-Net折返向上的通路之中。

相同感知野下残差卷积和空洞卷积优缺点对比：

  • 残差卷积：防止梯度爆炸、计算量小，但会损失特征图分辨率
  • 空洞卷积：计算量大，训练成本高，但能保存较大特征图分辨率，利于边界的定位细化。

设计目的：利用残差卷积，做到全局特征融合

  • 编码部分：RESNET，生成四个不同大小特征层
  • 解码部分：提出refinenet模块，进行残差堆叠和特征融合。

在这里插入图片描述

最左边一列就是FCN的encoder部分（用VGG作为主干特征提取网络），先把pretrained ResNet按feature map的分辨率分成四个ResNet blocks，然后向右把4个blocks分别作为4个path通过RefineNet block进行融合，最后得到一个refined feature map （接softmax再双线性插值输出）。注意除了RefineNet4之外，所有的RefineNet block都有两个输入，用于融合不同尺寸的特征层做refine。

RefineNet Block
主要组成部分是Residual convolution unit，Multi-resolution Fusion，chained Residual Pooling，output convolutions。作用是融合多个level的feature map输出单个level的feature map。

在这里插入图片描述

  • RCU就是去除了BN的恒等残差块(identity residual unit)。两个RCU模块构成一条残差边，每个分辨率的特征层应用两个串联的RCU模块，提取分割结果的残差，最后相加来校正原始分割结果。除RefineNet 4中为512个卷积核外，其余所有输入路径上的卷积核个数均为256。
  • Multi-resolution fusion（多分辨率融合）将所有的输入通过这个模块融合到高分辨率特征图上。网络首先通过一个卷积层处理输入的不同分辨率卷积层，得到各通道下的适应性权重。随后，应用上采样，将所有输入卷积层上采样到所有输入中的最大size，并根据不同通道权重加权求和。【若只有一个输入路径，例如RefineNet-4，则输入将直接经过此块而不做任何更改。若有多个输入，比如RefineNet-3，输入1为resnet压缩后为1/16原图大小的特征层，输入2为RefineNet-4输出的为1/32原图大小的特征层，则经过RefineNet-3，两个输入会上采样为1/16原图大小的特征层，再加权相加，最后输出1/16原图大小的特征层，作为RefineNet-2的输入。】
  • chained residual pooling（串联残差池化）通过残差校正的方式，优化前两步融合得到的分割结果。由一个残差结构、一个池化层和一个卷积层组成。池化层加卷积层用来习得用于校正的残差。Relu对接下来的池化的有效性很重要，还可以使模型对学习率的变化没这么的敏感，这个链式结构能从很大范围区域上获取背景，此外，这个结构中大量使用了identity mapping这样的连接，无论长距离或者短距离，这样的结构允许梯度从一个block直接向其他任一block传播。
  • Output convolutions就是输出前再加一个RCU。平衡所有的权重，最终得到与输入空间尺寸相同的分割结果。
  • RefineNe用了一个比较巧妙的做法：用前一级的残差结果作为下一级的残差学习模块的输入，而非直接从校正后的分割结果上再重新习得一个独立的残差。这样做的目的，RefineNet的作者是这样解释的：可以使得后面的模块在前面残差的基础上，继续深入学习，得到一个更好的残差校正结果。

在这里插入图片描述

7、HRNet

7、Deep layer aggregation

8、Deeply Supervised Salient Object Detection with Short Connections

  • 实验数据记录：

网络结构数据集结果

FCN-resnet50

· 200epoch

· ./params/fcn_resnet50_coco-1167a1af.pth

NEU-seg    global correct: 96.8
average row correct: ['98.4', '77.7', '89.1', '84.3']
IoU: ['96.5', '65.0', '82.6', '74.6']
mean IoU: 79.7

PSP-mobilenet

· 200epoch，downsample_factor=16

· 无预训练 

--{netmodel_199.pth}

NEU-segglobal correct: 96.3
average row correct: ['98.2', '72.9', '90.1', '74.1']
IoU: ['95.9', '60.6', '83.0', '63.4']
mean IoU: 75.7

PSP-resnet50

· 200epoch，downsample_factor=16

· 无预训练 

--{resnet50_netmodel_199.pth}

--{resnet50[8]_netmodel_199.pth}

NEU-seg

downsample_factor=16

global correct: 96.4
average row correct: ['98.3', '70.6', '90.3', '77.2']
IoU: ['96.0', '60.4', '83.5', '64.8']
mean IoU: 76.2

downsample_factor=8

global correct: 97.2
average row correct: ['98.5', '80.9', '91.6', '85.1']
IoU: ['96.8', '69.3', '85.0', '75.3']
mean IoU: 81.6

deeplabV3

· 200epoch，downsample_factor=16

· 无预训练 

NEU-segglobal correct: 97.1
average row correct: ['98.5', '78.0', '91.1', '86.2']
IoU: ['96.8', '67.4', '84.3', '76.5']
mean IoU: 81.3

  • NAS实验数据记录：

网络结构cell结果

normal+reduce(8个)

'none', 'max_pool_3x3', 'avg_pool_3x3',    'skip_connect', 'sep_conv_3x3',  'sep_conv_5x5',   'dil_conv_3x3' 'dil_conv_5x5',

DARTS (cell_step=4) 

NASNet_zora;

2022-10-21

global correct: 97.9
average row correct: ['99.0', '74.9', '88.9', '83.5']
IoU: ['97.8', '62.4', '81.2', '75.1']
mean IoU: 79.1

normal+reduce(8个)

'none', 'max_pool_3x3', 'avg_pool_3x3',    'skip_connect', 'sep_conv_3x3',  'sep_conv_5x5',   'dil_conv_3x3' 'dil_conv_5x5',

改变搜索策略为Pdarts

P-DARTS (cell_step=4) 

【剪枝设置：3.2.2】

这个搜索的效果不好，可能是因为剪枝剪得暴力了。

NASNet_Pdarts_zora;

2022-10-25;

2022-10-27 08:07:04,838 global correct: 97.9
average row correct: ['99.1', '65.6', '88.7', '83.9']
IoU: ['97.8', '58.0', '81.0', '75.1']
mean IoU: 78.0

normal+reduce(8个)

'none', 'max_pool_3x3', 'avg_pool_3x3',    'skip_connect', 'sep_conv_3x3',  'sep_conv_5x5',   'dil_conv_3x3' 'dil_conv_5x5','conv_7x1_1x7'

增加了'conv_7x1_1x7'操作，剪枝数量变了

P-DARTS (cell_step=4) 

【剪枝设置：3.2.2.1】

-----------------------------------

做了两次实验：

2022-10-28：取得是过程训练最佳结果的结构；

2022-10-28（1）：取得是最后一个结果结构。

NASNet_Pdarts_zora;

2022-10-28：

average row correct: ['99.1', '70.7', '89.4', '84.2']
IoU: ['97.9', '61.0', '82.3', '75.6']
mean IoU: 79.2

----------------------------------

2022-10-28(1)：

average row correct: ['99.0', '74.4', '89.9', '86.4']
IoU: ['97.9', '63.6', '82.2', '76.1']
mean IoU: 80.0

【80, 79.9, 79.8, 79.8, 79.6】

normal+reduce（13个)

'none', 'max_pool_3x3', 'avg_pool_3x3',    'skip_connect', 'sep_conv_3x3',  'sep_conv_5x5',   'dil_conv_3x3' 'dil_conv_5x5','conv_7x1_1x7'

网络块从8个变成了13个，增加了'conv_7x1_1x7'操作，同样采用Pdarts搜索策略

P-DARTS (cell_step=4)

【剪枝设置：3.2.2.1】 

NASNet12_Pdarts_zora;

2022-10-28;

average row correct: ['99.0', '77.4', '89.8', '84.7']
IoU: ['97.9', '64.0', '81.9', '75.7']
mean IoU: 79.9

【79.9, 79.7, 79.6, 79.5, 79.3】

normal+reduce(13个)

'none', 'max_pool_3x3', 'avg_pool_3x3',    'skip_connect', 'sep_conv_3x3',  'sep_conv_5x5',   'dil_conv_3x3' 'dil_conv_5x5','conv_7x1_1x7'

用了原始的DARTS搜索策略

DARTS (cell_step=4) 

NASNet12_zora;

2022-10-31;

global correct: 97.9
average row correct: ['99.1', '69.6', '89.8', '83.2']
IoU: ['97.8', '59.9', '81.3', '75.4']
mean IoU: 78.6
 

【78.6, 78.4, 78.2, 78.1, 78.0】

normal+reduce（9个）

     'none', 'max_pool_3x3', 'avg_pool_3x3',    'skip_connect', 'sep_conv_3x3',  'sep_conv_5x5',   'dil_conv_3x3' 'dil_conv_5x5',   'conv_7x1_1x7'

加残差模块

P-DARTS (cell_step=4) 

【剪枝设置：3.2.2.1】

NasNet_resnet_Pdarts_Zora

global correct: 97.9
average row correct: ['99.2', '72.4', '85.4', '84.7']
IoU: ['97.8', '61.4', '79.8', '75.6']
mean IoU: 78.6

【78.6, 78.6, 78.5, 78.5, 78.5】

normal+reduce(13个)

     'none', 'max_pool_3x3', 'avg_pool_3x3',    'skip_connect', 'sep_conv_3x3',  'sep_conv_5x5',   'dil_conv_3x3' 'dil_conv_5x5',   'conv_7x1_1x7'

加残差模块

P-DARTS (cell_step=4) 

【剪枝设置：3.2.2.1】

NasNet12_resnet_Pdarts_Zora

global correct: 98.0
average row correct: ['99.0', '74.2', '88.3', '85.7']
IoU: ['97.8', '62.4', '81.0', '76.2']
mean IoU: 79.4

【79.4, 79.2, 78.9, 78.9, 78.9,】

normal+reduce(9个)

改变通道数12->30，cell变9个，上采样加1*1卷积

​​​​​​​P-DARTS (cell_step=4) 

【剪枝设置：3.2.2.1】

NasNet_channel30_Pdarts_Zora

global correct: 98.1
average row correct: ['99.2', '73.8', '87.5', '85.7']
IoU: ['97.9', '63.6', '81.8', '76.1']
mean IoU: 79.9

【79.9, 79.8, 79.8, 79.7, 79.6】

----------------------------------

global correct: 98.1
average row correct: ['99.1', '75.1', '90.0', '83.2']
IoU: ['98.0', '63.9', '82.7', '75.5']
mean IoU: 80.0

​​​​​​​

【80.0, 79.8,79.7, 79.6,79.6】

 normal+reduce(9个)

改变搜索策略：ADARTS

(cell_step=4) 

SSD网络结构

（1）采用多尺度特征图用于检测
CNN网络一般前面的特征图比较大，后面会逐渐采用stride=2的卷积或者pool来降低特征图大小，这正如图3所示，一个比较大的特征图和一个比较小的特征图，它们都用来做检测。这样做的好处是比较大的特征图来用来检测相对较小的目标，而小的特征图负责检测大目标。
在这里插入图片描述
（2）采用卷积进行检测
SSD直接采用卷积对不同的特征图来进行提取检测结果。对于形状为mnp的特征图，只需要采用33p这样比较小的卷积核得到检测值。
（每个添加的特征层使用一系列卷积滤波器可以产生一系列固定的预测。）

（3）设置先验框
SSD借鉴faster rcnn中ancho理念，每个单元设置尺度或者长宽比不同的先验框，预测的是对于该单元格先验框的偏移量，以及每个类被预测反映框中该物体类别的置信度。

Zora.wang
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
表面缺陷检测数据集汇总及其相关项目推荐 | Github开源
迈微AI研习社 · 号主
09-27 1万+
全网目前最全的表面缺陷检测数据集整合，包含项目GitHub Repo
U-Net网络学习--01
guoxinxin0605的博客
04-10 1558
U-Net网络学习--01摘要一、U-Net: Convolutional Networks for Biomedical Image Segmentation1.1 U-Net的网络结构1.2 U-Net究竟输入了什么1.3 U-Net的损失函数二、deep-learning-for-image-processing2.1 训练代码2.2 训练结果文档分析：2.3 训练结果图片对比： 摘要 本周主要进行u-net相关的学习，U-Net是比较早的使用全卷积网络进行语义分割的算法之一，该网络的名字也是取自其U
【深度学习】语义分割实验：Unet网络/MSRC2数据集
兴趣使然的创作者
07-05 2262
把图片数据从文件夹整理成csv文件，每一行代表其路径 2.数据预处理 颜色与分类标签的转换 语义分割主要是构建一个颜色图(colormap)，对每一类分割的对象分别给予不同的颜色标注。 图片裁剪 3.数据加载 4.Unet 网络结构 下采样 上采样 输出 整体结构 5.评估指标：MIoU 6.训练 7.测试 理论上，应该用测试集进行测试，但测试的结果惨不忍观。可能是由于训练次数不足导致，在上面这段代码中，直接导入训练集进行查看，下面是和GroundTruth进行对比参照图。 实验源码+
分割网络-ExtremeC3Net（轻量级）
sinat_16423171的博客
05-24 1079
《ExtremeC3Net: Extreme Lightweight Portrait Segmentation Networks using Advanced C3-modules》 时间：20190812 作者团队：首尔大学&Clova AI 1. 摘要 人像分割任务作为许多任务的一个中间阶段，对实时性要求极高，并且当前缺乏大规模的人像分割数据集，为此论文提出ExtremeC3Net模型和用于进行数据扩充的简单方法。ExtremeC3Net基于改进的C3模块，能够实现精度较高速度极快的人像
缺陷检测网络--混合监督（kolektor缺陷数据集复现）
m980828的博客
02-25 2725
要求： Python 3.8 PyTorch 1.6, 1.8 CUDA 10.0, 10.1 数据集： KolektorSDD ，[点此下载](https://www.vicos.si/Downloads/KolektorSDD) 在colab上运行示例： 先将git上源码克隆过来 !git clone https://github.com/vicoslab/mixed-segdec-net-comind2021 然后下载KSDD数据集 % cd /content/mixed-segdec-net-
Unet++舌象图像分割数据集+代码+模型+系统界面+教学视频.zip
03-10
该文件中包含提前处理好的舌象数据集和标签，以及训练好的unet++模型和完整的训练、测试和图形化界面的Python代码，并且提供了实际的操作视频，按照视频只需要进行一下基本的环境创建，即可运行出一个完整的分割系统...
基于unet 网络对蓝莓叶片分割【数据集+代码+训练结果】
05-10
基于unet 网络对蓝莓叶片分割【数据集+代码+训练结果】 代码均为手写，全网无重复，训练自己数据很简单，只需要摆放好数据即可 数据集：蓝莓叶片分割 网络仅仅测试5个epoch，全局像素点的准确度达到0.97，dice为...
点云语义分割pointnet++运行自制数据集的代码
最新发布
05-30
这个是运行上一个上传自制数据集的代码，因为大小限制分开上传
基于 FCN 网络对DRIVE数据集的分割实战
04-28
本项目：FCN 多尺度分割实战项目，包含数据集、代码、训练好的权重文件。经测试，代码可以直接使用 数据集：DRIVE 的二分割项目（视神经血管） 网络仅仅测试20个epoch，全局像素点的准确度达到0.94，miou为0.68，...
基于 Unet++ 网络对太阳能光伏板分割实战【包含数据集、完整代码、训练好的结果】
05-29
数据集：太阳能光伏板分割（约200张数据和标注图像） 网络仅仅测试30个epoch，全局像素点的准确度达到0.94，精确度为0.94，召回率为0.92，dice为0.93，训练epoch加大的话，性能还会更加优越！ 代码介绍： 训练过程...
KolektorSDD数据集
11-03
KolektorSDD数据集，可以下载看看，主要用来做缺陷检测的。KolektorSDD数据集，可以下载看看，主要用来做缺陷检测的。KolektorSDD数据集，可以下载看看，主要用来做缺陷检测的。
dataset.zip
07-29
这个是ID3决策树算法的数据集，在原来的数据上进行了格式修改。和我的博客上的代码配合使用。
缺陷检测数据集
11-15
缺陷检测数据集，用于训练缺陷检测神经网络。从https://github.com/sundyCoder/DEye下载
【表面缺陷检测】常用开源表面缺陷检测数据集 整理
热门推荐
__阿健__的博客
09-12 2万+
数据集是深度学习研究的基础，开源数据集为各种论文方法提供了 比较的基准。 不同于经典计算机视觉任务中的 ImageNet、PASCAL VOC2007/2012 和 COCO 等数据集，表面缺陷检测并没有一个统一的，大规模的数据集，不同的缺陷检测数据集，在 样本数量，正负样本比例，复杂度 等方面都有很大的不同。 不同的缺陷数据集往往适用于不同的方法。 不同的检测设定下的研究往往基于不同的缺陷数据集。 这里对一些常用的表面缺陷检测数据集进行了整理汇总。
Segmentation-Based Deep-Learning Approach for Surface-Defect Detection-论文阅读笔记
weixin_43749999的博客
07-21 1907
文中提出了一个基于分割的两阶段的表面缺陷检测方法。第一阶段包括在缺陷的像素级标签上训练的分割网络，而第二阶段包括在分割网络上构建的附加决策网络，以预测整个图像中是否存在异常。对所提出的方法进行了广泛的评估，评估对象是半成品工业产品，即电换向器，其中表面缺陷表现为材料断裂。该问题域已作为基准数据集公开，称为Kolektor表面缺陷数据集（KolektorSDD）。在该领域，将该方法与几种最先进的方法进行了比较，包括专用的商用软件和两种基于深度学习的标准分割方法。...
FCN代码及效果展示
Le0v1n 的博客
12-25 679
从测试效果图可以看到，FCN网络的效果还是不错的，但从头开始训练需要进一步训练，目前欠拟合比较严重，和PyTorch官方提供的权重文件效果差距很大！
深度学习的性能指标
怪兽!!!的博客
03-27 1433
正样本：属于某一类（一般是所求的那一类）的样本。在本例中是及格的学生。负样本：不属于这一类的样本。在本例中是不及格的学生。困难样本： 预测时与真值标签误差较大的样本。简单样本： 预测时与真值标签误差较小的样本。eg. 图片分类：需要识别马、羊、牛三个类别。给一张马的图片。对于预测马来说这个样本为正样本，对于预测羊和牛来说该样本为负样本。eg. 语音识别：需要识别“我 爱 中 国”四个字。语音片段对应“我”。则对于预测“我”来说这个样本为正样本，对于预测其他字来说该样本为负样本。
学习笔记（76):Python数据分析与挖掘-饶过那些“生病”的数据吧（二）
m0_49939521的博客
11-05 164
92讲视频课+16大项目实战+源码+￥800元课程礼包+讲师社群1V1答疑+社群闭门分享会=99元   为什么学习数据分析？       人工智能、大数据时代有什么技能是可以运用在各种行业的？数据分析就是。       ...
制作point net++语义分割数据集
05-21
4. 将数据划分为训练集、验证集和测试集，并保存为对应的文件格式，例如 .txt 或者 .h5 等格式。 5. 根据 PointNet++ 的输入要求，将数据转换为特定的格式，例如将点云数据转换为球形邻域，然后生成每个球形邻域的...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值