语义分割 - SegNet / DeconvNet

最新推荐文章于 2024-11-15 10:13:16 发布
最新推荐文章于 2024-11-15 10:13:16 发布
阅读量996 收藏 4
点赞数
文章标签： 深度学习 神经网络 pytorch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Bro_Jun/article/details/120421532
版权
这篇博客详细介绍了SegNet和DeconvNet两种深度学习语义分割模型。SegNet利用编码器-解码器结构，通过保存最大池化索引来实现反池化，减少信息损失。DeconvNet则采用VGG-16作为编码器，解码器结合反卷积和反池化，并加入全连接层。两者的实现细节在SegNet.py和DeconvNet.py中给出。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

这里写目录标题

论文精读

先验知识

编码器 - 解码器结构（Encoder - Decoder frame）

编码器结构：
由普通卷积层和下采样层将特征图尺寸缩小

解码器结构：
由普通卷积、上采样层和融合层组成，用来逐渐恢复空间维度，在尽可能减少信息损失的前提下完成同尺寸输入输出

随机丢弃层（Dropout）

当一个复杂的前馈神经网络被训练在小数据集上时，容易造成过拟合。Dropout通过忽略特征检测器来减少过拟合现象。

在这里插入图片描述

反池化（unpooling）

解码器中每一个最大池化层的索引都存储起来，用于之后在解码器中进行反池化操作。

  • 有助于保持高频信息的完整性
  • 对低分辨率的特征图进行反池化时，会忽略临近的信息

SegNet

本文创新点

  • SegNet 核心的训练引擎包括一个 encoder 网络和一个对称的 decoder 网络，即编码器 - 解码器结构
  • decoder 中直接利用与之对应的 encoder 阶段中最大池化时保留的 pooling index 来反池化

算法架构

在这里插入图片描述

DeconvNet

本文创新点

  • 编码部分使用 VGG-16 卷积层
  • 解码部分使用反卷积和反池化
  • 特殊方法：将 object proposal 送入训练后的网络，整幅图像是由 proposal 分割结果的组合，解决了物体太大或太小带来的分割问题

算法架构

DeconvNet 与 SegNet 的不同之处主要在于

  • 反池化与反卷积结合来形成 decoder
  • encoder 和 decoder 之间加入了全连接

在这里插入图片描述

算法实现

除了模型以外，其他部分与FCN无异

SegNet.py

导入包

import torch
import torchvision.models as models
from torch import nn

解码器中的卷积部分的定义

def decoder(input_channel, output_channel, num=3):
    if num == 3:
        decoder_body = nn.Sequential(
            nn.Conv2d(input_channel, input_channel, 3, padding=1),
            nn.Conv2d(input_channel, input_channel,
最低0.47元/天 解锁文章
Bro_Jun
关注
语义分割-SegNet
Passenger_zhang的博客
03-11 450
SegNet论文原文0. 简介1. 网络架构2. 上采样3. 实验结果4. 总结 论文原文 SegNet: A Deep ConvolutionalEncoder-Decoder Architecture for ImageSegmentation 0. 简介   SegNet与DeconvNet在结构上非常相似，也都使用了maxpooling的索引来进行上采样，两者主要区别在于： SegNet去掉了FC层，而DeconvNet没有； SegNet在decoder中使用了卷积，而DeconvNet使用了反
论文笔记：图像分割——SegNet & DeconvNet
liuzeyao_Newton的博客
06-21 1547
① Segnet: A deep convolutional encoder-decoder architecture for image segmentation ② Learning Deconvolution Network for Semantic Segmentation
4-图像分割之SegNet＆DeconvNet
qq_40073354的博客
09-07 961
1.预备知识 编码器和解码器： 编码器结构: 编码器部分主要由普通卷积层和下采样层将特征图尺寸缩小，使其成为更低维的表征。目的是尽可能多的提取低级特征和高级特征，从而利用提取到的空间信息和全局信息精确分割。 解码器结构: 解码器部分主要由普通卷积、上采样层和融合层组成。利用上采样操作逐步恢复空间维度，融合编码过程中提取到的特征，在尽可能减少信息损失的前提下完成同尺寸输入输出。 随机丢弃层： 当一个复杂的前馈神经网络被训练在小的数据集时，容易造成过拟合。为了防止过拟合，可以通过阻止特征检测器的共同作用
基于segnet的语义分割
01-13
基于segnet模型的对cityscapes数据集的语义分割代码实现
语义分割--segnet
qq_43222384的博客
05-31 377
论文：https://arxiv.org/pdf/1511.00561.pdf 论文翻译：https://blog.csdn.net/u014451076/article/details/70741629 论文理解：https://blog.csdn.net/zhuzemin45/article/details/79709874 segnet　tutorial详解：http://mi.eng.ca...
语义分割——SegNet
weixin_42255757的博客
11-15 1264
SegNet是一个端到端的像素级语义分割模型，本文介绍了SegNet的原理，并进行了代码实现和测试
SegNet & DeconvNet——论文阅读
qq_55009448的博客
10-28 1078
此前的语义分割方法主要基于全卷积网络 (Fully Convolutional Networks, FCN)，这种方法通过卷积层逐渐下采样并生成粗略的标签映射，随后用双线性插值或条件随机场 (CRF) 进行细化。DeconvNet 引入了逆卷积网络 (Deconvolution Network)，旨在解决上述问题，以实现更加精细的语义分割效果。
AI 语义分割 SegNet
Notzuonotdied的博客
05-24 810
SegNet Demo: http://mi.eng.cam.ac.uk/projects/segnet/ Last Edited: May 09, 2019 5:18 PM Tags: FCN,SegNet 论文地址: https://arxiv.org/pdf/1511.00561.pdf 前言 SegNet SegNet的主要动机是场景理解的应用（语义分割），主要动机是为了设计一个Memo...
图像语义分割网络：SegNet
09-28
发表SegNet网络的论文为：Badrinarayanan V, Kendall A, Cipolla R.SegNet: A Deep Convolutional Encoder-Decoder Architecture for SceneSegmentation[J]. IEEE Transactions on Pattern Analysis & MachineIntelligence, 2017, PP(99):1-1。 来源于美国加州大学伯克利分校的这项工作为语义分割引入了端到端的全卷积网络，在构建的网络结构中，重新利用ImageNet的预训练网络用于语义分割，并使用了反卷积层进行上采样并且引入跳跃连接来改善上采样粗糙的像素定位。
SegNet 语义分割网络以及其变体 基于贝叶斯后验推断的 SegNet
沈春旭的博客
06-08 5130
HomePage: http://mi.eng.cam.ac.uk/projects/segnet/SegNet Paper: https://www.computer.org/csdl/trans/tp/2017/12/07803544.htmlDropout as  Bayesian Paper: http://mlg.eng.cam.ac.uk/yarin/PDFs/NIPS_2015_de...
深度学习（十九）——FCN, SegNet, DeconvNet, DeepLab, ENet, GCN
antkillerfarm的专栏
03-12 1万+
前DL时代的语义分割（续） Grab cut Grab cut是微软剑桥研究院于2004年提出的著名交互式图像语义分割方法。与N-cut一样，grab cut同样也是基于图划分，不过grab cut是其改进版本，可以看作迭代式的语义分割算法。Grab cut利用了图像中的纹理（颜色）信息和边界（反差）信息，只要少量的用户交互操作即可得到比较好的前后背景分割结果。 在Grab cut中，R...
【语义分割—SegNet】SegNet: A Deep Convolutional Encoder-Decoder Architecture for Image Segmentation
扬帆·启航
02-24 2138
SegNet的编码器部分使用了去除全连接层的VGG-16网络，解码器部分采用了对等于编码器部分的结构。SegNet的解码器部分使用了一系列上采样和卷积层，上采样层对应于解码器的对等最大池化层，通过保留的最大池化层的最大值索引来恢复特征图分辨率，并利用可学习的后续卷积层来产生稠密特征。
SegNet：编解码器结构的语义分割深度卷积网络
AI数据工厂
01-10 3203
论文地址：https://arxiv.org/pdf/1511.00561 目录 1、摘要 2、网络结构及其细节 3、总结 1、摘要 提出了一种新颖使用的用于像素级语义分割的深度全卷积神经网络结构，称之为SegNet。这个核心可训练的分割引擎由一个编码器、对应解码器和一个像素级分类层组成。编码器网络的结构在拓扑结构上与的13个卷积层的VGG16网络相同。解码器网络的作用是将低分辨率编码器特征映射到与输入分辨率大小的特征，以便进行像素级分类。SegNet的新颖之处在于解码器对其低分辨率输入特..
深度学习之语义分割（SegNet）
qq_41627642的博客
02-24 3046
原文链接：https://arxiv.org/pdf/1511.00561.pdf github（tensorflow）:https://github.com/aizawan/segnet 基于SegNet的钢铁分割实验：https://github.com/fourmi1995/IronSegExprement-SegNet 1 编解码结构 具体来说，编码器的任务是在给定输入图像后，通过神经网络学习得到输入图像的特征图谱；而解码器则在编码器提供特征图后，逐步实现每个像素的类别标注，也就是分割。
深度学习之语义分割-SegNet
whz1861的博客
01-21 5950
This core trainable segmentation engine consists of an encoder network, a corresponding decoder network followed by a pixel-wise classification layer. 模型 说明：基础模型采用VGG16 去掉fc层，使得encoder网络更小，更易训练 134M –
【语义分割】--SegNet理解
热门推荐
Alex-zzm
03-27 6万+
原文地址：SegNet复现详解：http://mi.eng.cam.ac.uk/projects/segnet/tutorial.html 实现代码:    github                       TensorFlow简介：        SegNet是Cambridge提出旨在解决自动驾驶或者智能机器人的图像语义分割深度网络，开放源码，基于caffe框架。SegNet基于FCN...
语义分割-Segnet学习记录
weixin_40513936的博客
11-20 225
Segnet学习记录简介网络架构encoder：decoder：亮点： 简介 SegNet是基于FCN，修改VGG-16网络得到的语义分割网络，基于caffe框架。 网络架构 SegNet由编码网络（encoder），解码网络（decoder）后接一个分类层组成。encoder与decoder是对称的。编码网络由13个卷积层组成，与VGG16的前13层卷积相同，将VGG16在大型数据集上训练得到的权重值作为编码网络的权重初始值，为了保留encoder 最深层输出的到高分辨率的feature maps，删掉
2.语义分割网络-SegNet
fengshengwei3的专栏
12-03 663
目录 一 SegNet的网络结构 二 对网络结构的说明 三 主要内容 1.主要贡献 2.对主要贡献的说明 3.评价 四 相关网络资源 一 SegNet的网络结构 二 对网络结构的说明 应用VGG16框架，去掉全连接层，搭建对称模型。 左测是卷积提取特征，通过pooling增大感受野，同时图片变小，该过程称为Encoder，右边是反卷积与upsampling，通过反卷...
语义分割系列3-SegNet（pytorch实现）
yumaomi的博客
05-14 1万+
本文介绍了SegNet网络结构，基于pytorch构建了SegNet模型，并在Camvid数据集上复现。
cityscapes语义分割实战segnet
最新发布
03-20
### 如何使用SegNet进行Cityscapes数据集上的语义分割 #### Cityscapes 数据集简介 Cityscapes 是一个广泛使用的城市场景语义理解数据集，包含来自50个不同城市的高质量城市街景图像。该数据集主要用于自动驾驶场景下的语义分割任务[^2]。 #### SegNet 的基本原理 SegNet 是一种基于卷积神经网络（CNN）的深度学习模型，专为图像语义分割设计。其核心架构由编码器-解码器组成，能够通过多层卷积和池化操作提取图像的高层次特征，并利用解码器将这些特征重新映射到原始图像分辨率，从而完成像素级分类任务[^3]。 #### 使用 PyTorch 实现 SegNet 并应用到 Cityscapes 数据集上 以下是实现 SegNet 进行 Cityscapes 数据集语义分割的一个教程示例： 1. **安装依赖库** 需要先安装必要的 Python 库，例如 `torch` 和 `torchvision`。 ```bash pip install torch torchvision matplotlib pillow ``` 2. **加载 Cityscapes 数据集** 可以通过 `torchvision.datasets.Cityscapes` 加载 Cityscapes 数据集。 ```python from torchvision import datasets, transforms transform = transforms.Compose([ transforms.ToTensor(), transforms.Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225]) ]) cityscapes_train = datasets.Cityscapes( root='./data', split='train', mode='fine', target_type='semantic', transform=transform ) cityscapes_val = datasets.Cityscapes( root='./data', split='val', mode='fine', target_type='semantic', transform=transform ) ``` 3. **定义 SegNet 架构** 下面是一个简单的 SegNet 定义： ```python import torch.nn as nn import torch.nn.functional as F class SegNet(nn.Module): def __init__(self, input_channels=3, output_channels=34): # 输出通道数对应 Cityscapes 类别数量 super(SegNet, self).__init__() self.encoder_1 = nn.Sequential( nn.Conv2d(input_channels, 64, kernel_size=3, padding=1), nn.BatchNorm2d(64), nn.ReLU(inplace=True), nn.MaxPool2d(kernel_size=2, stride=2, return_indices=True) ) self.decoder_1 = nn.Sequential( nn.ConvTranspose2d(64, output_channels, kernel_size=3, padding=1), nn.BatchNorm2d(output_channels), nn.ReLU(inplace=True) ) # 更复杂的编码器和解码器可以在此处扩展... def forward(self, x): indices_list = [] sizes = [] # Encoder x, indices = self.encoder_1(x) indices_list.append(indices) sizes.append(x.size()) # Decoder out = F.max_unpool2d(x, indices_list.pop(), 2, 2, output_size=sizes.pop()) out = self.decoder_1(out) return out ``` 4. **训练过程** 训练过程中需要定义损失函数、优化器以及评估指标。 ```python model = SegNet() criterion = nn.CrossEntropyLoss() # 对于语义分割任务通常使用交叉熵损失 optimizer = torch.optim.Adam(model.parameters(), lr=0.001) num_epochs = 10 for epoch in range(num_epochs): model.train() total_loss = 0 for images, labels in train_loader: outputs = model(images) loss = criterion(outputs, labels.squeeze(1)) # 去掉多余的维度 optimizer.zero_grad() loss.backward() optimizer.step() total_loss += loss.item() print(f'Epoch [{epoch+1}/{num_epochs}], Loss: {total_loss:.4f}') ``` 5. **验证与测试** 在验证集或测试集上评估模型性能。 ```python model.eval() with torch.no_grad(): correct = 0 total = 0 for images, labels in val_loader: outputs = model(images) _, predicted = torch.max(outputs.data, 1) total += labels.numel() correct += (predicted == labels).sum().item() accuracy = 100 * correct / total print(f'Validation Accuracy: {accuracy:.2f}%') ``` #### 结论 上述代码展示了如何使用 PyTorch 实现 SegNet 并将其应用于 Cityscapes 数据集上的语义分割任务。此方法同样适用于其他类似的编码器-解码器架构，如 FCN 或 U-Net[^1]。 ---
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值