项目实践中对语义分割网络DeepLabV3+的改进

最新推荐文章于 2024-09-25 18:24:32 发布
最新推荐文章于 2024-09-25 18:24:32 发布
阅读量1.1w 收藏 101
点赞数 15
分类专栏： 深度学习论文笔记和实践
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yuanlulu/article/details/90245331
版权

概述

最近用DeepLabV3+做了一些语义分割的工作，从github上下载了别人实现的tensorflow实现。发现速度不能满足需求，所以本人对DeepLabV3+做了一些改进。

原始的网络结构

下图左侧是DeepLabV3的结构，中间是U-Net风格的编解码结构，最右侧就是DeepLabV3+的结构。和V3相比，V3+融合了一次底层特征图（主干网络也换了，但是这里体现不出来）。

在这里插入图片描述

改进方向

替换backbone

DeepLabV3+论文里的backbone是Xception, 我下到的工程里用的是ResnetV2-50和ResnetV2-101。

整体的模型保存为PB有一百多M, 在CPU上的运行时间是1秒多。

为了加快网络速度，将backbone替换为MobileNetV2。

使用深度分离卷积替换普通卷积

ASPP部分和decoder部分的参数数量同样吓人，为此把所有的普通卷积替换为深度分离卷积。

同时ASPP和decoder部分的通道数量也做了一定的删减。

增加一次对底层特征的融合

在做身份证部件解析的时候发现细节切分效果较差。为了改善细节，将1/2大小的特征图和decoder特征进行融合，最终取得了不错的效果。

在这里插入图片描述

最终效果

整个模型保存为PB固化文件后只有2.5M, 300x400的图片解析时间在CPU上0.2秒左右。

图片效果见《基于语义分割的身份证部件解析和文字检测》

参考资料

DeeplabV3+：Encoder-Decoder with Atrous Separable Convolution for Semantic Image Segmentation

基于语义分割的身份证部件解析和文字检测

这就是神经网络 12：深度学习-语义分割-DeepLabV1、V2、V3和V3+

人脸解析（Face Parsing）和人体解析Human Parsing：方法、数据集和论文

yuanlulu
关注
专栏目录
基于改进Deeplab V3+网络的语义分割
05-06
深度学习的语义分割在计算机视觉领域中有非常广阔的发展前景，但许多分割效果较好网络模型占用内存大和处理单张图片耗时长.针对这个问题，把Deeplab V3+模型的骨干网（ResNet101）的瓶颈单元设计为1D非瓶颈单元，且对空洞空间金字塔池化模块（Atrous Spatial Pyramid Pooling，ASPP）的卷积层进行分解.该算法能大幅度降低Deeplab V3+网络的参数量，提高网络推理速度.基于PASCAL VOC 2012数据集进行对比实验，实验结果显示改进网络模型拥有更快的处理速度和更优的分割效果，且消耗更少的内存.
基于deeplabv3plus网络实现了虹膜图像分割以及水果图像分割python源码+运行说明.zip
05-12
基于deeplabv3plus网络实现了虹膜图像分割以及水果图像分割python源码+运行说明.zip
详尽 | Deeplabv3+结构理解
Frost_Descent的博客
08-19 4690
input image输入层，可以为任意大小。输入后进行卷积运算，到最后一个卷积层输出得到该层的feature maps特征映射，其大小也是任意的。Spatial Pyramid Pooling layer SPP层。以最左侧16X256-d为例，16表示将从前面卷积得到的特征映射分成16份，256表示channel通道数，即SPP对每一层都分成16份，进行池化操作，一般进行max pooling最大池化。中间右侧同理，即将特征映射分别分成4X256和1X256。
Tensorflow实现的DeepLabV3CNN语义分割
08-09
Tensorflow Implementation of the Semantic Segmentation DeepLab_V3 CNN
基于deeplabv3+的遥感农作物语义分割
02-17
使用deeplabv3+实现遥感图片的农作物区域分割，包括水稻，小麦，玉米
DeepLabV3+：Mobilenetv2的改进以及浅层特征和深层特征的融合
m0_62919535的博客
02-04 5762
在这里mobilenetv2会从之前写好的模块中得到，但注意的是，我们在这里获得的特征是[-1]，也就是最后的1x1卷积不取，只取循环完后的模型。forward当中，会输出两个特征层，一个是浅层特征层，具有浅层的语义信息；另一个是深层特征层，具有深层的语义信息。具有高语义信息的部分先进行上采样，低语义信息的特征层进行1x1卷积，二者进行特征融合，再进行3x3卷积进行特征提取。根据下采样的不同，当downsample_factor=8时，进行3次下采样，对倒数两次，步长为2的。上采样后进行特征融合；
改进 DeepLabV3+
热门推荐
m0_56247038的博客
10-03 1万+
SP、ASPP、DenseASPP以及各种解码器结构的实现
DeepLabV3+学习笔记
qq_44695454的博客
10-04 1472
虽然看完了整个DeepLab系列，但还是一知半解的。对空洞卷积，CRF条件随机场，多级联合，ASPP，编码解码结构都是模模糊糊的。对于代码的了解也是这样，只知道大概，对里面的具体编码过程还是存在很多的疑惑，有很多的地方不清楚为什么要这么编码，今天尝试自己复现V3+的代码，但是训练结果却很差，不知道是自己复现的有问题还是没有使用预训练参数自己从头训练导致权重震荡的问题。然后还有就是对里面的一些指标也是知之甚少，啊，越来越不懂了。
语义分割任务与改进简述
m0_54824511的博客
02-09 634
2023.2.9 openmmlab ai训练营直播回顾
DeepLabv3+（PyTorch）图像语义分割：训练自己的数据集
12-06
DeepLabv3+是一种非常先进的基于深度学习的图像语义分割方法，可对物体进行像素级分割。 本课程将手把手地教大家使用labelme图像标注工具制作数据集，并使用PyTorch版本的DeepLabv3+训练自己的数据集，从而能开展自己的图像语义分割应用。 本课程以RoadScene语义分割开展项目实践：对汽车行驶场景中的路坑、车、车道线进行物体标注和语义分割。 本课程使用Pytorch版本的DeepLabv3+，在Ubuntu系统上做项目演示。 包括：安装PyTorch和deeplabv3+、数据集标注、数据集格式转换、训练自己的数据集、测试训练出的网络模型以及性能评估。本课程提供项目的数据集和Python程序文件。 相关课程：DeepLabv3+图像语义分割实战：训练自己的数据集（TensorFlow）https://edu.csdn.net/course/detail/25328
[语义分割] DeepLab v3+（DeepLab v3 Plus、Backbone、Xception、MobileNet v2、Encoder、Decoder、ASPP、多尺度融合、膨胀卷积）
Le0v1n 的博客
08-01 5065
DeepLab v3 Plus、Backbone、Xception、MobileNet v2、Encoder、Decoder、ASPP、多尺度融合、膨胀卷积
deeplabv3+模型 - 副本.rar
10-13
标题中的"deeplabv3+"指的是DeepLabv3+模型，这是一个深度学习领域中用于语义分割的先进算法。语义分割是计算机视觉任务之一，它的目标是将图像的每个像素分配到预定义的类别中，比如人、车、建筑等。DeepLab系列由...
基于TensorFlow2.2的 deeplabv3+ 源码。按readme操作即可跑通，十分方便。
04-02
了解 Deeplabv3+ 的基本操作后，你可以尝试对模型进行优化，比如调整网络结构、使用不同的预训练模型、改变空洞卷积的速率等，以适应特定的语义分割任务。 总结，基于 TensorFlow2.2 的 Deeplabv3+ 源码提供了一个...
Deeplab_v3plus_deeplabv3plus网络_deeplab_
10-03
Deeplab_v3plus 是对先前版本 Deeplabv3 的改进，引入了两个关键创新：ASPP（Atrous Spatial Pyramid Pooling）和 decoder 结构。ASPP 通过使用不同空洞率的卷积来捕捉多尺度信息，而 decoder 则用于恢复图像的细节...
语义分割模型优化
吴建明wujianming_110117
05-03 1057
语义分割模型优化 Improving Semantic Segmentation via Video Propagation and Label Relaxation 链接地址：https://arxiv.org/abs/1812.01593v1 代码链接：https://nv-adlr.github.io/publication/2018-Segmentation 面前在kitti数据集像素级语...
DeeplabV3+，分割模型进一步优化
qq_43534932的博客
11-11 1092
前言 Deeplab分割系列网络，引入了ASPP结构，其中采用了不同dilation_rate来对特征进行卷积，主要的目的是： （1）在不提升计算量的前提下，扩大感受野。获取多尺度模型性能。 （2）不用pooling层降低分辨率，对后续细节方面的分割有很大的好处 在之前的博客中我们实现过简单的ASPP结构，而V3+的结构如下图所示： 采用了 encoder-decoder结构，在 encoder结构中还是有ASPP的影子只不过，有引入的pooling，stride为1，而原先的特征相加也改成了concat
类特征注意机制融合Deeplabv3+语义分割
慕云
03-11 5383
针对经典语义分割网络在高分辨率遥感图像语义分割中存在的边缘目标分割不准确、不同类型目标分割不一致、预测效率慢等问题，本文提出了一种融合改进的Deeplabv3+网络CFAMNet的分类特征注意机制，用于遥感图像中常见特征的语义分割。首先，利用类特征注意模块增强类间的相关性，更好地提取和处理不同类别的语义信息;其次，利用多并行无网格空间金字塔池化结构增强空间间的相关性，更好地提取图像不同尺度的上下文信息;最后，利用编码器-解码器结构对分割结果进行细化。在公共数据集高奋图像数据集(GID)上进行了实验，验证了所
语义分割性能提升---通过优化损失改进分割效果
最新发布
qq_41920323的博客
09-25 780
本文主要总结最近的调研调试结果，介绍通过改进损失来提升语义分割的分割效果。
采用双注意力机制的Deeplabv3+算法的遥感影像语义分割(论文）
Maple__Boy
11-26 1万+
摘要 针对 DeepLabv3+网络在遥感影像上呈现出拟合速度慢，边缘目标分割不精确，大尺度目标分割类内不一致、存在孔洞等缺陷，提出在该网络中引入双注意力机制模块 （Dual Attention Mechanism Module,DAMM），设计并实现了将DAMM结构与ASPP （Atous Spatial Pyramid Pooling） 层串联或并联的2种不同连接方式网络模型 ，串联连接方式中先将特征图送入 DAMM 后，再经过 ASPP结构；并联连接方式中将双注意力机制层与 ASPP层并行连接，网络并
计算机视觉语义分割deeplabv3+
04-05
DeepLabv3是一种用于图像语义分割的深度学习模型，其主要特点是采用空洞卷积和全局平均池化等技术来提高分割精度。在进行图像分割时，DeepLabv3会将一个图像划分为多个像素级别的区域，并对每个区域进行分类，以确定其所属的对象或类别。 DeepLabv3的基本架构包括一个预训练的卷积神经网络模型，以及一个特殊的空洞卷积层，该层可通过不同的采样率来改变卷积核的感受野大小和分辨率。这种设计可以有效地处理不同尺度和分辨率的图像，并提高分割的准确性。 在语义分割任务中，DeepLabv3通常使用基于交叉熵损失的多分类损失函数进行训练。此外，为了进一步提高分割精度，DeepLabv3还可以使用CRF（条件随机场）等后处理技术来对分割结果进行优化。 总的来说，DeepLabv3是一种目前较为先进的语义分割模型，其在图像分割任务中具有较高的准确性和鲁棒性。
评论 15
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值