【论文笔记】ITS17 ERFNet: Efficient Residual Factorized ConvNet for Real-Time Semantic Segmentation

最新推荐文章于 2024-06-26 09:32:53 发布
最新推荐文章于 2024-06-26 09:32:53 发布
阅读量542 收藏 4
点赞数
分类专栏： 阅读笔记 文章标签： erfnet enet 语义分割 分解卷积 残差网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/phdsky/article/details/103674180
版权

文章目录

Block - Factorized Residual Layers

结构特征

网络结构的关键点：A novel layer that uses residual connections and factorized convolutions

跳跃连接：使用ResNet网络结构，让网络学习残差函数来加速训练

分解卷积：通过将2D卷积操作等效分解为多个1D卷积操作，在获得与2D相似准确率的情况下大幅减少了参数量

ERFNet网络架构就是基于Non-bottlenect block结构的顺序堆叠型网络，不包含多级特征图融合或block间的长距离范围跳跃连接。

关于跳跃连接作者分析了文章[6]中的ResNet block，包含Non-bottleneck和Bottleneck两种；作者提到两种版本实际上具有相似的参数量（作者是基于feature map降低4倍的情况下对比的，很明显bottleneck大幅降低了参数量），并且准确率也差不多；但是bottleneck需要更少的计算资源，并且当网络深度增加时计算量的增长不大。

从[6] [7] [12]作者说非bottleneck结构相对于bottlneck结构可以从深度获得更高的准确率，意思是bottlneck结构仍然存在梯度弥散的问题。

卷积分解理论作者引用了[22]，列出了任意2D滤波器可以由若干个1D滤波器组合的数学公式；作者主要对Non-bottleneck进行了改造，ERFNet架构中使用的也是Non-bottlenect-1D block；

宽度扩展

image

作者说从滤波器和特征图的计算量可以得出Non-bottleneck-1D直接增加了网络结构的width，后面也有篇幅提到了这个block带来的是wider layer的效果。

这里没有太理解他说的本意是什么，大概意思可能是这个block降低了计算量；如果从相同计算量角度，那么这个block可以获取更wider的信息？

参数分析

文中提了三种Block结构，实际上对应的应该还有一种：对Bottleneck的1D分解；这个网络在文中有提到且分析了一下参数量，但是没有继续往下做实验（这个结构在ENet中使用了，表示为asymmetric conv）；
blocks

四种block在相应feature map下的参数量：
params

上表计算的参数量应该是不带bias的数值，针对单个block参数量分析可以参考：http://cs231n.github.io/convolutional-networks/#conv，根据表中给定的 w 0 = 64 w_0 = 64 w0​=64，参数量数值计算如下：

Residual Blockwithout biaswith bias
bottleneck1x1x256x64 + 3x3x64x64 + 1x1x64x256 = 69632(1x1x256+1)x64 + (3x3x64+1)x64 + (1x1x64+1)x256 = 70016
non-bottleneck3x3x64x64x2 = 73728(3x3x64+1)x64x2 = 73856
bottleneck-1D1x1x256x64 + 3x1x64x64x2 + 1x1x64x256 = 57344(1x1x256+1)x64 + (3x1x64+1)x64x2 + (1x1x64+1)x256 = 57792
non-bottleneck-1D3x1x64x64x4 = 49152(3x1x64+1)x64x4 = 49408

平台测试

文中所述的网络准确率在实时分割网络里面基本上是最优的，原文可看到实验结果这里不做对比；此外文中提到的网络前向速度和我在海思NPU平台测试的结果有出入。
inference

问题跟进

关于Bottleneck-1D的实验和wider layer的解释，看作者后续会不会有什么跟进：
https://github.com/Eromera/erfnet_pytorch/issues/45

Miscellaneous

近来的发展趋势是将所有分类问题统一为语义分割任务

相关工作

FCN 作为第一个呈现端到端语义分割的网络；通过将分类网络变为全卷积并上采样输出特征图，网络输出结果比较粗糙；这是由于在分类网络中通常都是利用大的降采样步骤来获取更多的原图信息；为了获得更精细的输出，也通过将浅层的特征图与深层的跳跃链接；这里上采样用的是deconvolution层

SegNet 通过使用max-pooling indices的大decoder来提升unpooling的精度，segnet decoder的up-sampling使用的是带mask的upsample层

DeepLab 利用CRF来作为后端refine粗糙边界

CRFasRNN 将CRF整合入卷积架构 两者利用CRF的结构极大地增加了计算量

DeepLab2 将ResNet-101 SPP CRF整合

RefineNet 提出了一种通过多路优化的网络，通过长范围残差连接来引入降采样通路上的多种分辨率信息

FRRN 提出了一种类ResNet结构的网络，通过两个处理流程来将多尺度信息和像素级准确率组合；一个是在原图分辨率的处理流程，另外一个实在降采样操作过程中的流程

LRR 提出了一种通过拉普拉斯金字塔构造不同尺度特征的复杂结构

ENet 也将ResNet结构引入了分割任务，但是为了计算效率在精度上做了较大的牺牲

phdsky
关注
专栏目录
ERFNet: Efficient Residual Factorized ConvNet for Real-time Semantic Segmentation的理解
weixin_38410551的博客
09-19 935
参考链接： https://www.jianshu.com/p/1ac45c696698
Deep Snake for Real-Time Instance Segmentation
weixin_41697507的博客
03-29 2309
Deep Snake for Real-Time Instance SegmentationAbstract1. IntroductionFigure 1. The basic idea of deep snake. Given an initial contour, image features are extracted at each vertex (a). Since the contou...
论文解析|CVPR2018|ERFNet: Efficient Residual Factorized ConvNet for Real-time Semantic Segmentation
Akita·Wang's Semantic Segmentation
03-17 825
论文原文:ERFNet: Efficient Residual Factorized ConvNet for Real-time Semantic Segmentation code:PyTorch 作者开源的代码只有训练部分没有测试部分~ Abstract ERFNet可以看作是对ResNet结构的又一改变，同时也是对ENet的改进。相对ENet，其网络结构的改进，一方面是将residual module改成non-bottleneck module，同时内部全部使用1D的cov（非对称卷积）。..
【CVPR2018】ERFNet: Efficient Residual Factorized ConvNet for Real-time Semantic Segmentation
circle的专栏
04-07 2659
作者 摘要 语义分割网络可以端到端训练，并准确地在像素级对多种目标分类。本文提出一个可实时运行且结果准确的语义分割架构。本架构核心是一个新层，使用residual connections和factorized convolutions，得以保证准确和高效。在单卡Titan X可达83FPS，Jetson TX1(英伟达GPU开发板)可达7FPS。在公开数据集Cityscapes上准确率类...
ERFNet：实时语义分割的高效Residual Factorized卷积网络
最新发布
gitblog_00068的博客
06-26 392
ERFNet：实时语义分割的高效Residual Factorized卷积网络 项目地址:https://gitcode.com/Eromera/erfnet 1、项目介绍 ERFNet是一个基于Torch库的开源工具箱，用于训练和评估ERFNet架构在语义分割任务中的性能。该项目引入了一个新型轻量级网络结构，旨在实现高效的实时语义分割。不仅如此，现在还提供了PyTorch版本的代码，以满足更多开...
论文笔记——ERFNet: Efficient Residual Factorized ConvNet for Real-time Semantic Segmentation
baidu_41902768的博客
12-16 3358
作者提出了一种基于残差连接和深度可分离卷积的语义分割网络，旨在不降低准确率的同时提高处理的帧数，可以满足自动驾驶中对于实时性的要求。一句话就是，我全都要！ 单元组成 简单地说，网络中主要使用了残差连接，这种捷径可以使得低维的特征可以往后流动而不是被网络完全转化，同时也在训练时减少了梯度消失等情况。另外使用了深度可分离卷积，可以减少网络中的参数数量，提高训练效率和...
[ERFNet] Efficient Residual Factorized ConvNet for Real-time Semantic Segmentation
sinat_30618203的博客
07-16 544
1、解决的问题 在IV（intelligent vehicles）实时任务中，有效的平衡计算资源和网路预测结果的准确性 2、网络结构 1）卷积拆分 2）无skip connection 3）下采样：stride=2的conv3x3+max_pooling； 上采样：stride=2的deconv 4）用dilated conv增大感受野 5）drop...
Using Fully Convolutional Networks for Semantic Image Segmentation
Image semantic segmentation is a computer vision task that aims to assign each pixel in an image to a semantic category, such as "person," "car," or "building." Unlike image classification, the goal ...
Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks （faster rcnn 论文翻译）
weixin_43590290的博客
09-27 336
英文版论文原文：https://arxiv.org/pdf/1512.02325.pdf Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks Shaoqing Ren,Kaiming He,Dumitru Erhan,Ross Girshick&Jian Sun` Abstract...
基于视觉的机器人抓取: 论文及代码(Vision-based Robotic Grasping: Papers and Codes)
热门推荐
dsoftware的博客
10-22 2万+
最近总结了基于视觉的机器人抓取的相关论文及代码，同步于github。根据抓取的类别，基于视觉的机器人抓取可以分为两类：2D平面抓取以及6D空间抓取。这个页面总结了近年来涉及到的各种各样的方法，其中大部分都使用了深度学习。总结的中文框架结构如下： 0.综述论文 1. 2D平面抓取 这类方法将抓取，用平面内旋转的矩形框表示； 1.1基于RGB或者RGB-D的方法 采用基于目标检测类的方法，直接得到2D...
深度挖掘论文：《Semantic Soft Segmentation》(语义软分割)
湾区人工智能
11-12 3320
最近花了一段时间研究英语论文Semantic Soft Segmentation，把自己收集的知识点分享下。 ###内容目录 ###论文摘要 深度挖掘论文：《Semantic Soft Segmentation》(语义软分割) 他们在coco-stuff dataset 数据集上训练神经网络，从而得到模型， 原理 SSS：利用深度神经网路ResNet-101生成图像的语义特征128维度的特征向量，...
ERFNet-PyTorch:基于Pascal VOC数据的ERFNet的PyTorch实现
04-28
ERFNET-PyTorch 一个PyTorch实施 ，对于语义分割帕斯卡VOC。 目录： 项目结构： ├── agents | └── erfnet.py # the main training agent ├── graphs | └── models | | └── erfnet.py # model definition for semantic segmentation | | └── erfnet_imagenet.py # model definition for imagenet | └── losses | | └── loss.py # contains the cross entropy ├── datasets # contains all dataloaders for the project | └── voc2012.py #
erf()函数C语言代码
08-05
该源代码采用C语言实现了误差函数erf()，其精度可根据参数ERF_N来调节（默认100），并且由于使用单次循环同时累加和累乘，因而避免了调用pow()函数，使得算法速度更快。该实现采用的是麦克劳林展开方法再逐项求积分。 另外，还包含了标准正态分布函数的计算函数norm_cdf()，该函数调用了erf()函数。
论文阅读（详细）：ERFNet: Efficient Residual Factorized ConvNet for Real-Time Semantic Segmentation
baidu_23388287的博客
11-05 8335
ERFNET文章链接 https://github.com/lilingge/ERF_net_tensorlfow 由于该文成果被用于商业了，所以原始的基于pytorch实现的代码被作者隐藏了，所以复现了基于tensorflow的代码，上传在了github上，网络自己调参，预训练，微调，在cityscapes数据集上，1024x2048大小的图像在1080TI上做inference 大约在0....
Efficient ConvNet for Real-time Semantic Segmentation论文解读
qq_32799915的博客
11-14 745
Abstract： real-time ：83 FPS in a single Titan X, and at more than 7 FPS in a Jetson TX1 (embedded GPU). a novel layer : uses residual connections and factorized convolutions in order to remain highl...
ERFNet：用于实时语义分割的高效残差分解卷积神经网络
m0_63642362的博客
01-31 4220
基于ERFNet实现第17届全国大学生智能汽车竞赛完全模型组线上资格赛
【语义分割】ERFNet -- Efficient Residual Factorized ConvNet for Real-time Semantic Segmentation
筱
08-02 1万+
ERFNet的核心操作是residual connections 和factorized convolutions 83 FPS in a single Titan X 7 FPS in a JetsonTX1 (embedded GPU)
erfnet_pytorch：轻量级卷积神经网络实现的高效图像识别
gitblog_00062的博客
04-20 363
erfnet_pytorch：轻量级卷积神经网络实现的高效图像识别 项目地址:https://gitcode.com/Eromera/erfnet_pytorch 在机器学习和计算机视觉领域，高效的模型是关键。erfnet_pytorch 是一个基于 PyTorch 的开源项目，它实现了 ERFNet（Effective Receptive Field Network）这一轻量级卷积神经网络，适用...
EDNet: Efficient Disparity Estimation with Cost Volume Combination and Attention-based Spatial Residual.做法描述
09-10
EDNet是一种用于视差估计的有效方法。它采用了成本体积组合和基于注意力的空间残差技术。具体来说，EDNet首先通过使用卷积和池化操作来提取左右图像的特征。接下来，EDNet创建一个成本体积，该体积将左图像的每个像素与右图像中的对应像素进行匹配，并计算它们之间的代价。然后，EDNet使用成本体积进行视差估计。为了提高估计的准确性，EDNet使用注意力机制来加权成本体积中的特征，以便更好地关注那些对估计更重要的像素。此外，EDNet还使用基于注意力的空间残差技术来进一步提高视差估计的准确性。这种方法可以在保持准确性的同时，显著减少视差估计的计算成本。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值