上采样和下采样_一文带你读懂 DeconvNet 上采样层（语义分割）

最新推荐文章于 2022-07-24 08:37:37 发布
最新推荐文章于 2022-07-24 08:37:37 发布
阅读量579 收藏 1
点赞数
文章标签： 上采样和下采样
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_39907713/article/details/111381484
版权

本文为 AI 研习社编译的技术博客，原标题 ：

Review: DeconvNet — Unpooling Layer (Semantic Segmentation)

作者 | SH Tsang

翻译 | 斯蒂芬·二狗子

校对 | 酱番梨 审核 | 约翰逊·李加薪 整理 | 立鱼王

原文链接：

https://towardsdatascience.com/review-deconvnet-unpooling-layer-semantic-segmentation-55cf8a6e380e

在本文中，我们简要回顾了DeconvNet，反卷积网络(DeconvNet)由反卷积deconvolution 和上池化unpooling层组成。

对于传统的全卷积网络FCN，输出是通过高比率(32×,16×和8×倍)的上采样获得的，这可能引起粗分割输出结果(标签图)。在DeconvNet中，最终的输出标签是通过逐渐进行的反卷积和上池化获得的。这篇论文发表于2015年ICCV上，当我写这篇博文时，已经有一千多的引用量(SH Tsang @ Medium)。

本文涉及的内容

  1. 上池化和反卷积

  2. 实例分割

  3. 两阶段训练

  4. 模型结果

1.上采样和反卷积

以下是DeconvNet的整体架构：

817b9f9c66624b8d09ebc1f63ab44233.png

DeconvNet 的架构

正如我们看到的，该网络使用VGG作为其backbone框架。第一部分是卷积网络，像FCN一样，具有卷积和池化层。第二部分是反卷积网络，这是本文中的一个新颖部分。

fb02a4b327eaafc6c3007c510d78ec75.png

Pooling过程(左)，模型记住位置信息，在Unpooling期间使用位置信息(右)

要执行上池化，我们需要记住执行最大池时每个最大激活值的位置，如上所示。然后，记住的位置信息用于上池化操作，如上所示。

c6c587e2ba408145365f7b1474654a71.png

卷积是将输入转换为更小的尺寸(左)，反卷积是将输入转换回更大的尺寸(右)

反卷积只是为了将输入转换回更大的尺寸。 (如有兴趣，请阅读我的有关FCN评论一文，详细了解。)

6e8fb4e5636f35c5b1162099f067fede.png

一个反卷积Deconvolution 和上池化Unpooling的例子

上图是一个例子。 (b)是14×14 反卷积层的输出。 (c)是上池化后的输出，依此顺序类推。我们可以在(j)中看到自行车的标签图可以在最后的224×224 反卷积层重建，这表明学习特征的这些卷积核可以捕获类特定的形状信息。

3766bbea46f702354b01e5dc313abaf7.png

输入图像(左)，FCN-8s(中)，DeconvNet(右)

上面展示的其他示例表明DeconvNet比FCN-8可以给出更精确的形状。

2.实例分割

d256f85fbb017a027e7b8c2115accfe6.png

不使用区域提议Region Proposals的语义分割任务的不好的例子

如上所示，基本上大于或小于感受野的物体可能被模型给碎片化分割或贴上错误的标签。像素较小的目标经常被忽略并归类为背景。

语义分割可以看为是实例分割问题。首先，通过对象检测方法EdgeBox检测2000个区域建议region proposals中的前50个(边界框)。然后，DeconvNet应用于每个区域，并将所有建议区域的输出汇总回原始图像。通过使用 proposals ，可以有效地处理各种规模的图片分割问题。

3.两阶段训练

第一阶段训练

使用ground-truth标注来裁剪目标实例，使目标在裁剪的边界框中居中，然后进行训练。这有助于减少对象位置和大小的变化。

第二阶段训练

使用更具挑战性的例子。这些例子是由重叠的ground-truth 分割的区域建议生成/裁剪的。

其他细节

  • BN 在网络中使用

  • 使用VGG的权重来初始化卷积层的参数

  • 反卷积层的参数初始化为0均值的高斯分布

  • 每batch样本数量是64

4.结果

af3da9c2394dc81877286b3d626d401a.png

mean Iou结果

  • FCN-8s:只有 64.4% mean IoU.

  • DeconvNet: 69.6%

  • DeconvNet+CRF: 70.5% (其中CRF只是一个模型输出后的处理步骤)

  • EDeconvNet: 71.5% (EDeconvNet 是指DeconvNet和FCN-8s模型集成后的结果)

  • EDeconvNet+CRF: 72.5％具有最高的mean IoU结果。

c3fd8cb22233f3d41aa3533f2755df96.png

实例分割的优势

从上图中知道，实例分割有助于逐个实例地逐步分割，而不是一次对所有实例进行分段。

值得注意的是，DeconvNet的优势不仅来逐步的反卷积和上池，还可能来自实例分割和两阶段 two-stage的训练。

4f787d2e3773bc71210d2459b19af643.png

一些可视化结果

即使EConvNet + CRF输出结果比FCN差，但通常它的实际效果还是很好的。

参考文献

[2015 ICCV] [DeconvNet]Learning Deconvolution Network for Semantic Segmentation

我的其他文章

[FCN] [VGGNet]

想要继续查看该篇文章相关链接和参考文献？

点击【一文带你读懂 DeconvNet 上采样层(语义分割)】或长按下方地址：

https://ai.yanxishe.com/page/TextTranslation/1530

AI研习社今日推荐：雷锋网雷锋网雷锋网

李飞飞主讲王牌课程，计算机视觉的深化课程，神经网络在计算机视觉领域的应用，涵盖图像分类、定位、检测等视觉识别任务，以及其在搜索、图像理解、应用、地图绘制、医学、无人驾驶飞机和自动驾驶汽车领域的前沿应用。

加入小组免费观看视频：https://ai.yanxishe.com/page/groupDetail/19

weixin_39907713
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
一文读懂——全局注意力机制（global attention）详解与代码实现
08-17
Gobal Attention的目的：是为了在生成上下文向量（也可以认为是句向量）时将所有的hidden state都考虑进去。Attention机制认为每个单词在一句话中的重要程度是不一样的，通过学习得到一句话中每个单词的权重。即为关注重要特征，忽略无关特征。 本代码采样keras2.2.4\tensorflow1.12进行实现的。
反卷积(Deconvolution)、上采样(UNSampling)与上池化(UnPooling)
热门推荐
Atomwh的专栏
01-27 5万+
前言 在看图像语义分割方面的论文时，发现在网络解码器结构中有的时候使用反卷积、而有的时候使用unpooling或或者unsampling，查了下资料，发现三者还是有不同的。这里记录一下。 图示理解 使用三张图进行说明： 图（a）表示UnPooling的过程，特点是在Maxpooling的时候保留最大值的位置信息，之后在unPooling阶段使用该信息扩充Feature Map，除最大值
PyTorch学习之上采样层（VISION LAYERS）和PixelShuffle
mingo_敏
01-01 4427
1 PixelShuffle pixelshuffle算法的实现流程如下图，其实现的功能是：将一个H × W的低分辨率输入图像（Low Resolution），通过Sub-pixel操作将其变为rH x rW的高分辨率图像（High Resolution）。 通过卷积先得到r2r^2r2个通道的特征图（特征图大小和输入低分辨率图像一致），然后通过周期筛选（periodic shuffing）的方...
深度学习原理5——网络的层8类
xiaotiig的博客
12-08 949
这里写目录标题1输入层2卷积层3池化层（下采样层）4上采样层5拉直层6全连接层7分类层8输出层 1输入层 2卷积层 3池化层（下采样层） 4上采样层 5拉直层 Flatten 6全连接层 Dense 7分类层 8输出层
深度学习——CV、CNN、RNN、梯度消失与梯度爆炸、LSTM、GRU、BRNN、上采样层、attention结构、transformer结构、bert结构
胡图图不糊涂的博客
07-24 3765
在时候可以，并且可以很多，。其包含了（Verticaledgedetection）和（Verticaledgedetection）等等是将通过一种进行后得到一张，在图片中将。通过另一种运算，最后，这实际分别就是与的区别。
【深度学习基本概念】上采样、下采样、卷积、池化
Lizhifun
03-09 4万+
上采样 概念 上采样（upsampling）：又名放大图像、图像插值； 主要目的是放大原图像,从而可以显示在更高分辨率的显示设备上； 上采样有3种常见的方法：双线性插值(bilinear)，反卷积(Transposed Convolution)，反池化(Unpooling)； 原理 上采样原理： 图像放大几乎都是采用内插值方法，即在原有图像像素的基础上在像素点之间采用合适的插值算法插入新的元素。 插值算法还包括了传统插值，基于边缘图像的插值，还有基于区域的图像插值。 下采样 概念
上采样(upsampling)方法总结
zeronose的博客
03-19 2万+
总结一下上采样，主要来源于论文《Deep Learning for Image Super-resolution:A Survey》 上采样层位置 上采样方法 2.1预定义插值式 最近邻插值、双线性插值、双三次插值，效果和计算量逐个上升；虽然插值式上采样已没人用，但是下采样过程（数据准备从HRGT到LR）最常用的还是双三次。 基于插值的上采样方法只能通过图像的本身内容提高图像的分辨率，并没有带来更多信息，相反还有噪声放大、计算复杂度增加、结果模糊等副作用。 2.2 反卷积 由于反卷积是个端到端的操作而
上采样层什么意思_深度学习网络层之上采样（Unpooling）
weixin_39861054的博客
12-20 1766
之前一篇博文中介绍了深度学习中的pooling层,在本篇中主要介绍转置卷积这种上采样操作。转置卷积也是一种卷积。L2 pooling\[a^l={1\over k}\sqrt{\sum_{j=1}^k(a_j^{l-1})^2}\]pooling除了仅输出一个值, 也可以输出top k个(mix pooling).CNN中的上采样Unpooling:近邻,以复制的方式."Bed of Nails"...
光流 速度_cnn结构设计技巧-兼顾速度精度与工程实现（持续更新）
weixin_35106463的博客
01-01 261
总纲cnn中各个参数的辩证矛盾。深度决定了网络的表达能力，网络越深学习能力越强。宽度（通道数）决定了网络在某一层学到的信息量，另外因为卷积层能重组通道间的信息，这一操作能让有效信息量增大（这也是1x1卷积的作用，它能学习出重组信息，使得对于任务更友好，所以这里不能和分离卷积一起比较，传统卷积的有效卷积数更多，正比于输入通道乘以输出通道，分离卷积的有效卷积正比于输入通道数，传统卷积相当于分离卷积前升...
上采样层什么意思_在keras里实现自定义上采样层
weixin_39524842的博客
12-20 235
Keras里的UpSampling2D层不是中的双线性内插，而是简单的重复图像。这点和pytorch不一样，pytorch默认使用的是双线性内插。同样：这里仍然使用的是keras而不是tf.keras.keras里UpSampling2D的部分定义说明如下：class UpSampling2D(Layer):"""Upsampling layer for 2D inputs.Repeats the...
一文看懂DDS原理、混叠、幅度调制
01-20
DDS架构基本原理 　　随着数字技术在仪器仪表和通信系统中的广泛使用，可从参考频率源产生多个频率的数字控制方法诞生了，即直接数字频率合成(DDS)。其基本架构如图1所示。该简化模型采用一个稳定时钟来驱动存储正弦波(或其它任意波形)一个或多个整数周期的可编程只读存储器(PROM)。随着地址计数器逐步执行每个存储器位置，每个位置相应的信号数字幅度会驱动DAC，进而产生模拟输出信号。终模拟输出信号的频谱纯度主要取决于DAC。相位噪声主要来自参考时钟。 　　DDS是一种采样数据系统，因此必须考虑所有与采样相关的问题，包括量化噪声、混叠、滤波等。例如，DAC输出频率的高阶谐波会折回奈奎斯特带宽，因而
模拟技术中的一文看懂DDS原理、混叠、幅度调制
10-15
DDS架构基本原理 　　随着数字技术在仪器仪表和通信系统中的广泛使用，可从参考频率源产生多个频率的数字控制方法诞生了，即直接数字频率合成(DDS)。其基本架构如图1所示。该简化模型采用一个稳定时钟来驱动存储正弦波(或其它任意波形)一个或多个整数周期的可编程只读存储器(PROM)。随着地址计数器逐步执行每个存储器位置，每个位置相应的信号数字幅度会驱动DAC，进而产生模拟输出信号。最终模拟输出信号的频谱纯度主要取决于DAC。相位噪声主要来自参考时钟。 　　DDS是一种采样数据系统，因此必须考虑所有与采样相关的问题，包括量化噪声、混叠、滤波等。例如，DAC输出频率的高阶谐波会折回奈奎斯特带宽，因
机器学习之数据均衡算法种类大全+Python代码一文详解
06-05
以Imbalancd sklearn库收录的算法来看，过采样共有11种方法，欠采样共有8种方法，组合采样有2种方法。 1.欠采样算法： ClusterCentroids CondensedNearestNeighbour EditedNearestNeighbours RepeatedEditedNearestNeighbours AlIKNN InstanceHardnessThreshold NearMiss NeighbourhoodCleaningRule OneSidedSelection RandomUnderSampler TomekLinks 2.过采样方法 RandomOverSampler SMOTE SMOTENC SMOTEN ADASYN BorderlineSMOTE KMeansSMOTE SVMSMOTE 3.组合采样 SMOTEENN SMOTETomek
在keras里实现自定义上采样层
09-16
主要介绍了在keras里实现自定义上采样层，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
一文读懂谐波测量方法
01-20
在很多人认识里，只有使用同步才能进行的，其实采用非同步采样同样能进行谐波分析，而且在许多情况下甚至比同步采样法更。PA功率提供了常规谐波、谐波和IEC谐波三种谐波测量模式，支持同步和非同步的谐波分析，将两...
上采样，反卷积，上池化概念区别
庆志的小徒弟
10-08 1万+
通过卷积和池化等技术可以将图像进行降维，因此，一些研究人员也想办法恢复原分辨率大小的图像，特别是在语义分割领域应用很成熟。通过对一些资料的学习，简单的整理下三种恢复方法，并进行对比。 1、Upsampling（上采样） 在FCN、U-net等网络结构中，涉及到了上采样。上采样概念：上采样指的是任何可以让图像变成更高分辨率的技术。最简单的方式是重采样和插值：将输入图片进行rescale到一个想要...
【语义分割】语义分割上采样方法汇总
AI爱好者的博客，分享计算机领域相关知识
03-22 3499
在语义分割模型中，一般通过Backbone获得不同分辨率的特征图，然后将特征图融合生成预测结果，在此过程中，不可避免地需要将低分辨率特征图进行上采样提高其分辨率，本文统计了常用的上采样方法，并给出部分上采样算法的numpy实现代码，与opencv进行对比检验代码的正确性。 一、插值 插值利用像素间的相互关系计算出 1、最近邻插值 最近邻插值是最简单的插值方法，选取离目标点最近的点作为新的插入点，如下图示例： numpy实现及opencv对比： import cv2 from math i.
下采样和上采样
ytusdc的博客
11-21 3万+
1、下采样的作用是什么？通常有哪些方式？ 下采样层有两个作用，一是减少计算量，防止过拟合；二是增大感受野，使得后面的卷积核能够学到更加全局的信息。 下采样的方式主要有两种： 1、采用stride为2的池化层，如Max-pooling和Average-pooling，目前通常使用Max-pooling，因为他计算简单而且能够更好的保留纹理特征； 2、采用stride为2的卷积层，下采样的过程是一个信息损失的过程，而池化层是不可学习的，用stride为2的可学习卷积层来代替pooling可以得到更好的效果，
图像语义分割中的上采样(Upsampling)和下采样(subsampling)
一扣解千愁的博客
09-27 1万+
图像语义分割中的上采样和下采样1. 下采样和上采样的基本概念 最近在看到一篇论文中用到了transposed convolution，并出现了upsampling等概念，表示很迷。那么什么是upsampling ？ 1. 下采样和上采样的基本概念 下采样: 对卷积得到的压缩特征图进行进一步压缩。实际上就是卷积层之间的池化层。 作用： 通过最大池化或者平均池化从而减少了特征，进而参数的数量，且降低了卷积网络计算的复杂度；实际上就是过滤作用小、信息冗余的特征，保留关键信息（而信息关键与否就体现在对应的val
图像语义分割的上采样
最新发布
05-01
图像语义分割是指将图像中的每个像素分配给特定的语义类别，上采样是图像语义分割中的一个重要步骤，用于将低分辨率的特征图恢复到原始图像的尺寸。上采样的目标是保留语义信息并恢复细节。 常见的图像语义分割上采样方法有以下几种： 1. 双线性插值：双线性插值是一种简单而常用的上采样方法。它通过对每个目标像素周围的四个最近邻像素进行加权平均来计算新像素的值。这种方法简单快速，但可能会导致细节模糊。 2. 转置卷积（反卷积）：转置卷积是一种常用的上采样方法，通过学习可逆卷积核来实现。转置卷积可以将低分辨率的特征图映射到高分辨率的特征图，并且可以学习到更多的细节信息。 3. 双线性插值 + 卷积：这种方法结合了双线性插值和卷积操作。首先使用双线性插值将特征图上采样到目标尺寸，然后通过卷积操作来增加特征图的通道数和丰富语义信息。 4. 上采样网络：上采样网络是一种端到端的上采样方法，通过堆叠多个上采样层来逐步恢复特征图的分辨率。这些上采样层可以使用转置卷积、反池化等操作。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值