语义分割网络综述

已于 2022-06-15 17:35:15 修改
阅读量3.7k 收藏 17
点赞数 2
文章标签： 深度学习 人工智能
于 2022-04-27 16:55:06 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/attackkk/article/details/124448366
版权

语义分割网络综述

概览

本文以 HRNet 论文 为主，介绍语义分割相关工作，具体可分为：

  1. 学习低分辨率表示：FCN、Deeplab系列、PSPNet
  2. 恢复高分辨率表示：U-Net，Hourglass，SegNet，DeconvNet
    其中Hourglass和U-Net相似，DeconvNet与SegNet相似，不单独介绍
  3. 高低分辨率并行学习：HRNet

一、学习低分辨率表示

FCN

出发点

  1. LeNet、AlexNet、VGGNet、GoogLeNet主要用于分类，具有平移不变性（translation invariance）
  2. 这些网络需要固定的输入

创新点

  1. 将后面的全连接层换成卷积层，实现密集预测，用于语义分割。其中卷积层采用反卷积层（backwards convolution / deconvolution），由双线性差值权值初始化反卷积核。后面会大致介绍反卷积操作。
  2. 采用跳接结构，融合深层（包含了分类信息）与中层（包含了位置信息）的特征，提升输出的特征准确率
    在这里插入图片描述

反卷积
关于反卷积的详细说明，可查看我的另一篇博客反卷积的理解。

Deeplab-v1

结构
基于VGGNet，在FCN基础上修改，文章没有总体结构图，下面放VGGNet结构
在这里插入图片描述

创新点

  1. 将最后两个maxpooling的stride由2改为1，提高输出分辨率

  2. 将上述pooling层后面的卷积层改成空洞卷积，提高感受野
    pooling+普通卷积和空洞卷积都能增加感受野，不同的是前者的卷积所作用的输入特征图分辨率更低，而空洞卷积无须降低特征图分辨率，因而能够提高特征密度
    在这里插入图片描述

  3. 结合CRFs，恢复细节轮廓

与FCN相比

  1. 不需要可学习的上采样参数

Deeplab-v2

创新点

  1. backbone换成ResNet-101
  2. 采用空洞空间金字塔池化ASPP
    在这里插入图片描述

Deeplab-v3

创新点

  1. 加深网络（增加网络深度）
    复制ResNet第4个Block，采用不同rate的空洞卷积进行级联，见下图。
    在这里插入图片描述

  2. 改进的ASPP（增加网络宽度，相比于第一点，这一点在后续工作中用的更多）
    a. 随着空洞卷积rate增大，有效的卷积核权重变少，因而增加1×1卷积
    b. 为了增加全局信息，对上层输出特征图进行空间平均池化
    c. 将这几个分支在通道维度上拼接后接入1×1卷积层，融合各分支特征
    在这里插入图片描述

  3. 移除CRF

Deeplab-v3.5

创新点

  1. 提出Depthwise separable convolution，由depthwise convolution和pointwise convolution组成，如下图中(a)和(b)。这两种卷积分别提取空间和通道信息，大大减少参数量和计算量。其中depthwise convolution由空洞卷积替换，如下图中©
    在这里插入图片描述
  2. 提出encoder-decoder结构，实际上是在网络后面增加了一些结构，融合中层信息，采用双线性差值上采样以恢复分辨率
  3. 修改Xception
    a. 更深的Xception
    b. 所有的池化层替换为带步长的depthwise separable convolution
    c. 在所有3×3卷积后面接上BN和ReLU，借鉴于BobileNet
    在这里插入图片描述

PSPNet

创新点

  1. 提出空间金字塔池化（SSP）
    a. 经过4个不同尺度的池化
    b. 1×1卷积降低通道数为原来的1/4
    c. 双线性差值上采样以恢复输入分辨率
    d. 和输入特征图合并
    在这里插入图片描述
  2. 增加辅助loss
    能够优化学习过程，文章好像没具体说是什么loss。
    在这里插入图片描述

二、恢复高分辨率表示

U-Net

网络结构
在这里插入图片描述
创新点

  1. 采用反卷积上采样
  2. 在decoder中融合encoder中对应的特征信息（同Hourglass）
  3. 无padding卷积+Overlap-tile策略，以适配较大尺寸的输入图像（医学图像的特点）
    当图像较大时，可以通过滑窗方式对图像进行逐步预测。当滑窗处于边界部分时，如下右图中黄色部分，此时感受野为蓝色区域，其中的空白部分由黄色区域镜像来填充，如下左图所示，不同于原来的以0值或均值来填充的操作。
    在这里插入图片描述

特点

为什么适用于医学图像：

  1. 医学图像的低级特征同样很重要，因此需要有U-Net的浅层-深层连接结构
  2. 医学图像一般较大，需要Overlap-tile策略
  3. 医学图像一般样本少，因此U-Net需要设计成轻量级

SegNet

网络结构
在这里插入图片描述

创新点

  1. 采用Pooling Indices记住池化操作时选取的值的位置，在上采样反池化操作中将值放入记录的位置，其余位置置零。（同 DeconvNet）
    由于网络采用对称的encoder-decoder结构，因此decoder中的每个反池化操作在encoder中都有与之对应的池化操作。反池化后的特征图是稀疏的，需要经过卷积层丰富其特征内容。
    在这里插入图片描述

与U-Net区别

  1. 在decoder采用反池化操作，而不是结合encoder中对应的特征图
  2. U-Net没有使用VGG中的conv5部分，而SegNet采用了全部的VGG结构

三、HRNet

结构

  1. Parallel Multi-Resolution Convolutions
    多分辨率并行的卷积
    在这里插入图片描述
  2. Repeated Multi-Resolution Fusions
    重复的多分辨率信息融合
    在这里插入图片描述
  3. Representation Head
    下图分别对应HRNetV1、HRNetV2、HRNetV2p。分别适用于人体姿态估计、语义分割和目标检测。其中(b)图中的融合方式为：低分辨率图双线性插值到高分辨率后拼接，再经过1×1卷积层融合这4个分支信息。而©图中则进一步对输出进行下采样，得到多个level的输出。
    在这里插入图片描述
  4. Instantiation
    将前三种结构安装到一起，得到最终的HRNet结构，如下图所示。
    在这里插入图片描述
蓟门桥南一只炸
关注
语义分割综述论文合集
03-10
包含 2016 至 2018 年 6 篇语义分割经典综述论文。基本包含了常用的分割网络。更多最新文章欢迎阅读个人博客中的收录。
一文概览主要语义分割网络：FCN,SegNet,U-Net...
AI科技大本营
06-01 5859
本文作者总结了 FCN、SegNet、U-Net、FC-Densenet E-Net 和 Link-Net、RefineNet、PSPNet、Mask-RCNN 以及一些半监督方法，例如 DecoupledNet 和 GAN-SS，并为其中的一些网络提供了 PyTorch 实现。在文章的最后一部分，作者总结了一些流行的数据集，并展示了一些网络训练的结果。
LETNet：使用高效Transformer和CNN的轻量级实时语义分割网络
最新发布
AI公园
08-27 1523
导读LETNet将U形CNN与Transformer有效地结合在一起，以胶囊嵌入的方式弥补彼此的不足。同时，精心设计的轻量级空洞bottleneck（LDB）模块和特征增强（FE）模块对从头开始的训练产生了积极影响。在具有挑战性的数据集上进行的大量实验表明，LETNet在准确性和效率之间的平衡方面表现出色。摘要在过去十年里，卷积神经网络（CNNs）在语义分割任务中展现出了重要地位。尽管CNN模型表...
语义分割网络-STDC_CVPR2021
chen1234520nnn的博客
01-28 4950
前言 该网络是基于语义分割网络BiSeNetV1版本进行的改进，删掉BiSeNet网络中的双路径方式。属于实时语义分割算法，速度快。 1.2STDC网络的性能 STDC(Short-Term Dense Concatenate network)在Cityscapes上，在1080Ti上 1）STDC1-50网络以250.4FPS的速度在测试集上实现了71.9％的mIoU。 2）STDC2-75网络在97.0FPS的情况下达到76.8％的mIoU。 跟其他算法的性能对比： ...
语义分割网络-BiSenet
Freeverc的博客
10-31 1万+
Sementic Segmentation-BiSenet语义分割网络-BiSenet(Sementic Segmentation-BiSenet)介绍思路来源关于感受野关于空间信息网络框架Spatial PathContext PathBackBone网络注意力优化模块（ARM）：特征融合模块（FFM）：放大与输出Loss Function创新点总结分割效果测试结果：BiSeNet网络代码Ten...
深度学习（十九）——FCN, SegNet, DeconvNet, DeepLab, ENet, GCN
antkillerfarm的专栏
03-12 1万+
前DL时代的语义分割（续） Grab cut Grab cut是微软剑桥研究院于2004年提出的著名交互式图像语义分割方法。与N-cut一样，grab cut同样也是基于图划分，不过grab cut是其改进版本，可以看作迭代式的语义分割算法。Grab cut利用了图像中的纹理（颜色）信息和边界（反差）信息，只要少量的用户交互操作即可得到比较好的前后背景分割结果。 在Grab cut中，R...
基于深度学习的点云语义分割研究综述.pdf
08-18
本文综述了基于深度学习的点云语义分割方法，并将其分为两类：间接语义分割方法和直接语义分割方法。间接语义分割通常采用基于体素的方法，先将点云数据转化为规则的三维体素网格，再通过三维CNN进行特征提取和分类...
深度神经网络图像语义分割方法综述.pdf
09-25
"深度神经网络图像语义分割方法综述" 本文综述了基于深度神经网络的图像语义分割方法，旨在为计算机视觉领域中图像语义分割研究提供一个全面的参考。图像语义分割是计算机视觉领域近年来的热点研究课题，是指将图像...
基于深度学习的图像语义分割算法综述
02-25
本文来自于个人博客，这篇文章讲述卷积神经网络在图像语义分割（semanticimagesegmentation）的应用。图像分割这项计算机视觉任务需要判定一张图片中特定区域的所属类别。更具体地说，图像语义分割的目标是将图像的...
分割网络综述——Deep Semantic Segmentation of Natural and Medical Images: A Review
qq_37151108的博客
05-08 1500
论文阅读之分割网络综述 Deep Semantic Segmentation of Natural and Medical Images: A Review 摘要 图像语义分割主要完成像素级别的密集预测任务，同属于一类的像素组成实例可用于场景识别、理解图像内容等。而在医学图像分析领域，图像分割可用来帮助医生辅助诊断。本文则对目前主流的分割网络及医学图像分割网络从以下方面进行综述：结构优化、损失函数...
语义分割网络经典：FCN与SegNet
01-07
作者：石文华           编辑：田  旭            前  言 语义分割网络经典：FCN与SegNet 全文目录 1、FCN 概述 编码和解码过程 2、SegNet 概述： 特征上采样与融合细节 代码地址 将图像中每个像素分配到某个对象类别，相关模型要具有像素级的密集预测能力。 01 FCN （一）概述 改编当前的分类网络：AlexNet、VGG、GoogLeNet到全卷积网络和通过微调传递它们学习的特征表达能力到分割任务中。然后定义了一个跳跃式的架构，结合来自深、粗层的语义信息和来自浅、细层的表征信息来产生准确和精细的分割。   由上图可以看出，将
综述 | 语义分割经典网络及轻量化模型盘点
小白学视觉
05-22 8110
点击上方“小白学视觉”，选择加"星标"或“置顶”重磅干货，第一时间送达基于图像的语义分割又被理解为密集的像素预测，即将每个像素进行分类，这不仅仅对于算法是一个考验，而且对于硬件的计算性能也有很高的要求。因此，本文从两方面着手考虑，一方面是基于语义分割经典网络的介绍，向大家展示语义分割方向上的，经典的网络模型。另一方面，从计算的性能入手，向大家介绍一下语义分割方向的轻量化模...
常见的语义分割网络架构：FCNUNetSegNet等
AI天才研究院
05-31 675
1.背景介绍 语义分割是计算机视觉中的一项重要技术，它的目标是将图像分割成多个区域，每个区域代表一个特定的类别。在过去的几年中，深度学习已经在语义分割领域取得了显著的进步。本文将介绍几种常见的语义分割网络架构：全卷积网络（FCN）、U-Net、SegNet等，这些网络架构在许多应用中都取得了很好的效果。 2.
【语义分割】语义分割综述文章
wzk4869的博客
01-05 3756
【语义分割】语义分割综述文章
语义分割--Efficient and Robust Deep Networks for Semantic Segmentation
AI小作坊 的博客
08-02 2937
Efficient and Robust Deep Networks for Semantic SegmentationCode: https://lmb.informatik.uni-freiburg.de/Publications/2017/OB17a/在 Up-Convolutional Networks 的基础上，提出了 Part-Net，Fast-Net，M-Net。 三个网络的侧重点不
干货 | 一文概览主要语义分割网络，FCN、UNet、SegNet、DeepLab 等等等等应有尽有
热门推荐
蓝三金的博客
05-25 9万+
原文地址：https://meetshah1995.github.io/semantic-segmentation/deep-learning/pytorch/visdom/2017/06/01/semantic-segmentation-over-the-years.html 介绍 图像的语义分割是将输入图像中的每个像素分配一个语义类别，以得到像素化的密集分类。虽然自 2007 年以来，...
一文概览主要语义分割网络，FCN、UNet、SegNet、DeepLab 等等等等应有尽有
pangxing6491的博客
09-07 278
https://blog.csdn.net/qq_20084101/article/details/80432960?utm_medium=distribute.pc_relevant_t0.none-task-blog-OPENSEARCH-1.channel_param&depth_1-utm_source=distribute.pc_relevant_t0.none-task-blog-OPENSEARCH-1.channel_param
【语义分割】一文概览主要语义分割网络，FCN、UNet、SegNet、DeepLab
chen1234520nnn的博客
08-20 1万+
语义分割：是将输入图像中的每个像素分配一个语义类别，以得到像素化的密集分类。 上图中将人和自行车从图片中分割出来了。 语义分割一般网络架构 一般的语义分割架构可以被认为是一个编码器-解码器网络。 1）编码器：通常是一个预训练的分类网络，像 VGG、ResNet，然后是一个解码器网络。这些架构不同的地方主要在于解码器网络。 2）解码器：解码器的任务是将编码器学习到的可判别特征(较低分辨率)从语义上投影到像素空间(较高分辨率)，以获得密集分类。 语义分割不仅需要在像素级有判别能力，...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值