【图像分割论文阅读】ENet：A Deep Neural Network Architecture for Real-Time Semantic Segmentation

最新推荐文章于 2023-04-14 10:00:57 发布
最新推荐文章于 2023-04-14 10:00:57 发布
阅读量975 收藏 1
点赞数
分类专栏： 深度学习 文章标签： 深度学习论文阅读
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/LawenceRay/article/details/90601407
版权

Enet title

本文作者分别来自波兰华沙大学和美国普渡大学。首发于arXiv.org，后于2017年发表于2017ICLR.
论文地址:ENet：A Deep Neural Network Architecture for Real-Time Semantic Segmentation

背景

近年深度神经网络在计算机视觉领域发展迅猛，特别是图像分类等领域。但是大多数神经网络仍受限于计算量、存储空间、运算速度等因素的限制。在分类任务中往往容易忽略空间信息。处于对图像进行空间分类以及精细分割的目的，尚有SegNet、CRFasRNN等模型，但是这些模型的都是基于VGG-16，在推理过程中包含大量的参数以及更长的推理时间。导致很难应用于移动手机以及需要电池供电的应用。而对于手机应用而言，要求处理图像的速度达到10fps，而当下的SOTA模型SegNet只能达到1fps。最近的条件随机场CRF被用于模型的后处理中，提高了对目标细节的有效表征。但是出于对图像处理速度的要求，作者在文中没有使用任何后处理过程。

模型构造

处initialblock外,模型包含五个阶段,其中第二,三阶段结构一致.模型的输入为size = 512x512,输出也是size = 512x512
模型构造

设计思想

这里我不按照作者原文的顺序，按照整个模型中的出现顺序列出。

  • 提前下采样
    进行图像处理时，特别是对实时图像图像进行操作时，如果图像尺寸较大，其昂贵的计算开销是不可取的。视觉信息中包含大量的空间信息，完全可以使用更加有效的表征*但是当下流行的模型都没有注意到这一点。完全可以在输入网络进行特征提取前，利用这个预处理过程将原始视觉信息的信息浓缩，同时缩小图像的空间尺寸。作者通过实验证实使用的特征图个数为16和32的效果近乎一致。

  • 保持信息维度变化
    尽管提前下采样十分有效,但是维度的急剧下降会隐藏某些信息流.卷积之后的池化操作增加特征图的深度也会增加开销.,作者这里采用的方式是一边利用size=3x3,stride=2的filter做卷积,另一方面同时利用size=2x2的max-pooling进行池化操作,然后将得到的特征图合并.这个方式使得initial block的速度提升了10倍.

  • 特征图分辨率
    语义分割任务中的个下采样过程包含两个drawbacks。
    1）减少特征图的分辨率容易丢失如精确边界之类的空间信息。2）全像素的分割要求输入与输出的分辨率相同。
    这要求下采样之后须有上采样，使得模型大小增加，以及相应的计算开销增加。FCN中的解码器中，使用最大池化层中的索引值产生稀疏的上采样特征图。SegNet能够减少存储开销。但是下采样的的确确会降低精度。其好处也很明显，filter可以获取更大的感受野以获取更充分的上下文信息。这对于区分目标类别十分重要.例如在道路识别中区分行人和骑车者.

  • 解码器尺寸
    不同于SegNet中完全对称的编解码器结构,ENet中的编码器部分规模比解码器部分大.因为编码器的作用类似于图像分类任务中的卷积,目的是提取特征,而解码器部分的作用是对编码器的输出进行上采样然后微调细节.

  • 非线性操作
    当时的文章表明在卷积操作前使用ReLU和Batch Normalization的效果会好一些.但是对于ENet模型却没有此效果.作者将其模型initial部分的ReLu全部移除了.而采用了PReLU

  • 分解卷积
    卷积核权重有相当一部分的冗余,并且一个size = nxn大小的卷积操作可以分解为size = nx1和size = 1xn的卷积,以此可以减少计算量.此外,由于层与层之间的非线性操作,使得计算函数愈加丰富.

  • 空洞卷积
    空洞卷积的作用是可以在不增加计算复杂度的前提下获得更大的感受野,感知更丰富的上下文信息.

主要结构
  • initial block(左)

下图左侧即为模型的起始模块.通过并行的卷积和池化操作最后将得到的特征图整合.以此达到减少图像分辨率,除去视觉信息中的冗余信息的目的.

  • bottleneck block(右)文章的主体结构近乎是这样搭建的.
    initial block & bottleneck
实验

作者在三个benchmarks上进行了实验.包含Cam Vid,Cityscapes以及SUN RGB-D,所有训练测试均用Pytouch完成.评判指标为平均精度mAP和交并比IoU.
作者首先比较的是SegNet和ENet的运行速度,如下:
speed
可以看到的是,在处理速度上ENet是SegNet的十多倍.此外作者分析了两种模型对硬件的要求,如下:
hardware
以下是在三个数据集上的表现对比.

  • Cityscapes
    cityscape
  • CamVid
    CamVid
  • SUN RGB-D
    SUN RGB-D

总结

ENet的设计目的是将其应用于手机或电池供电设备的应用软件上,但尽管实验验证了它的处理速度能够在手机应用上运行,但不可否认的是其分割精度尚有待提升.(这里我也给不出当时SOTA具体的数值,就很难受.)

PS:最后贴几张文中的分割实例.
Cityscape
Cam Vid

SUN RGB-D

LawenceRay
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
泛读论文：Image Segmentation 图像分割合集
汪汪汪的博客
03-19 3065
Image Segmentation Fully Convolutional Networks for Semantic Segmentation CVPR’15 问题 这是第一次训练端对端的FCN进行 像素级别预测 来自监督的预训练 方法 把传统的CNN的FC层换成了卷积层，然后上采样后通过跳接叠加输出 参考 https://arxiv.org/pdf/1411.4...
【阅读笔记】《ENet: A Deep Neural Network Architecture for Real-Time Semantic Segmentation》
ShuqiaoS的博客
04-17 2346
本文记录了博主阅读论文《ENet: A Deep Neural Network Architecture for Real-Time Semantic Segmentation》的笔记，代码。更新于2019.04.16。
语义分割 - Semantic Segmentation Papers
gqixf的博客
01-25 1368
Semantic Segmentation TernausNet: U-Net with VGG11 Encoder Pre-Trained on ImageNet for Image Segmentation - 2018 - Kaggle [Paper] [Code-PyTorch] [Kaggle-Carvana Image Masking Challenge]Inverte
（新SOTA）UNETR++：轻量级的、高效、准确的共享权重的3D医学图像分割
qq_45807235的博客
03-05 7584
UNETR++：轻量级的、高效、准确的共享权重的3D医学图像分割高效配对注意(EPA)块，该块使用一对基于空间和通道注意的相互依赖的分支来有效地学习空间和通道方面的判别特征
分割常用评价指标以及SOTA
c_we_living的博客
02-25 872
常使用的评价指标
论文阅读：ENet: A Deep Neural Network Architecture for Real-Time Semantic Segmentation
01-07
文章目录1 摘要2 亮点2.1 initial模块和bottlebeck模块2.1.1 initial模块2.1.2 bottlebeck模块2.2 PReLU2.3 普通卷积、非对称卷积、空洞卷积混合使用2.4 ENet总体结构3 效果4 结论5 参考资料 1 摘要 语义分割的落地...
点云 目标识别voxnet:A 3D Convolutional Neural Network for Real-Time Object Recognition
02-10
点云 深度学习 目标识别 论文 点云 深度学习 目标识别 论文
论文解读：DTMT: A Novel Deep Transition Architecture for Neural Machine Translation
01-06
论文解读：DTMT: A Novel Deep Transition Architecture for Neural Machine Translation   本文为一篇神经机器翻译的文章，发表在2019AAAI会议上，主要提出一种深度转移网络（Deep Transition），结合多头注意力...
LSTM-Neural-Network-for-Time-Series-Prediction-master.rar
06-13
标题中的“LSTM-Neural-Network-for-Time-Series-Prediction-master”暗示了这是一个关于使用长短期记忆（LSTM）神经网络进行时间序列预测的项目。时间序列预测是一种利用历史数据来预测未来的统计方法，特别适合...
图像分割论文学习小记录1——FastInst（CVPR23）
dui845819593的博客
04-14 741
Mask2former或Oneformer这类模型算法的推理速度都很难达到实时，这篇论文提出的方法据说可以达到实时的实例分割效果，一起来看看实现这种实时效果的网络结构的独特之处吧！标题：本文提出了FastInst，一个简单、有效的基于query的实时实例分割框架， 展示了基于query的模型也能在高效实例分割算法设计方面的强大潜力。FastInst可以以实时速度（ 32.5 FPS）运行，同时在上产生超过 40 的 AP（ 40.5 AP）。它遵循最近提出的的meta架构。
图像分割-综述2020.3.1
he99774的博客
03-01 3507
整理时间为2020.3.1 【传统分割方法】 1、基于阈值的分割： 思想：利用图像的灰度特征。 方法：单阈值分割、多阈值分割 特点：只考虑灰度特征、不考虑空间特征，鲁棒性不好 改进方向：将智能遗传算法应用于阈值筛选，选取最优阈值。 2、基于区域的分割： 思想：直接寻找区域 ...
(ICIP2019)图像语义分割(24) ACNet-使用注意力网络的RGBD图像语义分割方法
kevin_zhao_zl的博客
09-24 6426
论文提出了一种全新的方法，基于时下流行的注意力机制，用于室内场景下的RGBD图像语义分割——通过利用图像深度信息，获得更好的语义分割效果，在包含40个类别的复杂室内场景通用数据集NYUDv2上取得了SOTA效果，mIoU达到了48.3%，论文主要的贡献在于一个注意力辅助模块和三平行分支的网络架构。
4种语义分割数据集Cityscapes上SOTA方法总结
华为云官方博客
04-23 3224
摘要：当前语义分割方法面临3个挑战。
【GAN】如何生动有趣地对GAN进行可视化？Google的GAN Lab推荐你了解一下
hacker_long的专栏
03-09 1771
今天将给大家介绍一个有趣的小工具—GAN Lab，这是一款对抗生成网络的可视化工具，对新手非常友好，有助于快速理解GAN的工作流程和原理。作者&编辑 | 小米粥编辑 | 言有三G...
图像处理--图像分割算法介绍
yangleo1987的博客
11-15 4万+
图像分割的主要算法： 1.基于阈值的分割方法 2.基于边缘的分割方法 3.基于区域的分割方法 4.基于聚类分析的图像分割方法 5.基于小波变换的分割方法 6.基于数学形态学的分割方法 7.基于人工神经网络的分割方法 基于阈值的分割方法 阈值分割方法作为一种常见的区域并行技术，就是用一个或几个阈值将图像的灰度直方图分成几个类，认为图像中灰度值
PointRend: Image Segmentation as Rendering（论文解读二十四）
一一
02-27 5794
Title：PointRend: Image Segmentation as Rendering Code ：PyTorch From：arxiv Note data：2020/02/27 Abstract：提出了PointRend（基于点的渲染）神经网络模块，该模块基于迭代细分算法在自适应选择的位置执行基于点的分段预测。 Abstract 论文提出一种基于生成对抗模型的SinGAN；...
实时语义分割--ICNet for Real-Time Semantic Segmentation on High-Resolution Images
AI小作坊 的博客
06-01 5394
ICNet for Real-Time Semantic Segmentation on High-Resolution Images https://hszhao.github.io/projects/icnet/ https://github.com/hszhao/ICNet本文针对高分辨率图像语义分割问题，引入 Cascade 思想 实现实时语义分割。 延伸阅读： Not All Pi
图像分割综述【深度学习方法】
热门推荐
WeisongZhao
07-06 7万+
CNN图像语义分割基本上是这个套路：下采样+上采样：Convlution + Deconvlution／Resize多尺度特征融合：特征逐点相加／特征channel维度拼接获得像素级别的segement map：对每一个像素点进行判断类别即使是更复杂的DeepLab v3+依然也是这个基本套路。图13 DeepLab v3+Image Segmentation（图像分割）网络结构比较网络 父辈生辰...
de-normalization lstm-neural-network-for-time-series-prediction-master
最新发布
08-08
LSTM神经网络是一种常用于处理和预测时间序列...总之，denormalization在"LSTM-Neural-Network-for-Time-Series-Prediction"项目中起到了恢复预测结果的原始尺度和幅度的作用，使我们能够更好地理解和分析预测结果。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值