论文学习笔记（四）ESPNet: Efficient Spatial Pyramid of Dilated Convolutions for Semantic Segmentation

最新推荐文章于 2024-08-09 07:26:24 发布
最新推荐文章于 2024-08-09 07:26:24 发布
阅读量1.6w 收藏 69
点赞数 11
分类专栏： # Segmentation 文章标签： 计算机视觉 深度学习 语义分割 端计算
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sinat_37532065/article/details/85723068
版权

『写在前面』

2018上半年出品的语义分割轻量级网络。

论文出处：ECCV 2018

作者机构：Sachin Mehta等，University of Washington

原文链接：https://arxiv.org/abs/1803.06815v2

相关repo：https://github.com/sacmehta/ESPNet

目录

摘要

1 介绍

2 相关工作

关于卷积加速

膨胀卷积

3 ESPNet

3.1 ESP模块

将标准卷积转化成ESP模块的过程 

 ESP模块详解

3.2 与其他CNN模块的关系

MobileNet Module

ShuffleNet Module

Inception Module

ResNext Module

Atrous spatial pyramid (ASP) module

不同Module在参数量、内存开销、感受野大小方面的对比

4 网络结构

摘要

  • 基于传统卷积模块设计，提出一种高效空间金字塔卷积模块（ESP Module），有助于减小模型运算量和内存、功率消耗，以提高在终端设备上的适用性。

1 介绍

  • ESP Module基于卷积分解原理，将标准卷积分解为两个步骤：
    • 1）point-wise convolutions 逐点卷积
    • 2）spatial pyramid of dilated convolutions 空间金字塔型膨胀卷积
  • ESP运算高效，并且可以用在CNNs的不同空间级别上（主要是相对ASP而言）
  • 理论上，ESP模块比Inception 和 ResNext的模块更高效。另外的试验结果表明，在相同硬件和计算条件下，ESP模块也优于现有表现最佳的MobileNet 和 ShuffleNet

2 相关工作

关于卷积加速

  • 卷积分解：将卷积运算分解为多个步骤以降低计算复杂度，比如Inception，ResNext，Xception，MobileNets等都使用了这样的技巧来减轻计算量。
  • 网络压缩：主要通过散列、修剪、矢量量化和收缩等方法，以减小预训练的模型大小。
  • 低位网络：通过量化模型的权重来减小模型大小和复杂度。
  • 稀疏CNNs：为了消除CNN的冗余，借助稀疏分解和稀疏结构学习等思路压缩模型大小。

膨胀卷积

  • 为了能够在不增加参数数量的情况下提高卷积核的感受野，便诞生了膨胀卷积（Dilated Convolution）
  • 简单而言，在标准卷积核中的每个参数中间插入一定数量的0元素便得到了卷积膨胀的卷积核
  • 这样一来，对于一个n \times n的卷积核，设膨胀率（即相邻元素之间的插0个数）为r，则其感受野增大到\left [ (n-1)r+1 \right ]^2
  • 想更深入的了解可以参考：https://blog.csdn.net/wangyuxi__/article/details/83003357

3 ESPNet

3.1 ESP模块

将标准卷积转化成ESP模块的过程 

  • ESP模块是ESPNet的核心组成部分，其基于"reduce-split-transform-merge"的策略设计，主要由point-wise conv和基于空间金字塔的膨胀卷积两部分组成。
  • 基于卷积分解理论，ESP模块首先通过1x1 conv对输入特征进行降维，然后使用多个不同膨胀率的卷积核对低维特征特征进行卷积，因为各个膨胀卷积核的感受野不同，而且从小到大都有，有点类似空间金字塔，所以作者将其命名为ESP模块。

  • 对于一个n \times n \times M @ N的标准卷积核，ESP模块将其分解为以下三步：

    Step-1: Reduce(Point-wise convolutions)：d个1\times1\times M的卷积核，将M维的输入feature map降至d维

    Step-2: Split & Transform(Spatial pyramid of dilated convolutions)：使用K个不同膨胀率的卷积核对上一步输出的feature map并行进行卷积，将会得到K个相同大小的feature map

    Step-3*: HFF(Hierarchical feature fusion，图中未体现)：分层特征融合，即将上一步得到的K个相同大小的feature map按照一定规则进行拼接，得到最终的输出feature

 ESP模块详解

  •  ESP模块的参数量为\frac{MN}{K}+\frac{(nN)^2}{K}，其中每部分参数数量如下，加一起就是了：
    • Reduce部分：M\times\frac{N}{K}
    • Split部分：K\times n^2 \times \left ( \frac{N}{K} \right )^2
  • ESP模块的感受野大小为\left [ (n-1)2^{K-1}+1 \right ]^2，这个比较好理解，其实就是K个膨胀卷积核中最大的那一个的感受野

『举个例子』

类比一个(w*h*M*N)大小的标准卷积核，即设输入的feature map大小为128*128*M，输出的feature map大小为128*128*N。ESP模块的具体计算如下：

① 经过Reduce以后，变为128*128*d

② 经过Split后，可以得到K张128*128*d的feature map

③ 经过HFF融合以后，变为128*128*(d*K)，注意d=N/K，所以输出大小为128*128*N

如：当n=3,N=M=128,K=4时，一个标准卷积核参数量是一个ESP模块参数量的3.6倍，但ESP模块的感受野可以达到17*17.

  • 因为使用了大感受野的膨胀卷积，导致了gridding artifacts现象，如下图所示。本文提出了使用HFF方法来解决该问题，具体做法就是从最小的膨胀卷积核输出的那张feature map开始，逐级叠加。这样的做法并没有引入任何新的参数，同时计算量上也没有增加太多，但却有效地改善了网格效应。

  • 此外，还将输入的feature map也通过“逐元素求和”的方式加到了最终输出的feature map上，以改善信息传递

3.2 与其他CNN模块的关系

MobileNet Module

  • 如图所示，MobileNet模块 = Depth-wise Conv + Point-wise Conv
  • 与ESP模块相比，参数量少，内存占用大，感受野小
  • 对ESP模块而言，当K=N时，与MobileNet模块很相似，只是两步的顺序颠倒一下
  • 与MobileNet模块相比，ESP模块的优势主要是感受野大

 

ShuffleNet Module

  • 基于reduce-transform-expand策略设计
  • ResNet中bottleneck模块的改进：
    • 1x1 conv => 1x1 grouped conv
    • 3x3 conv => 3x3 depth-wise conv
  • 与ESP模块相比，虽然ShuffleNet模块的参数量少，但会占用更大的内存同时无法扩大感受野  

Inception Module

  • 基于split-reduce-transform-merge策略设计
  • 每个支路上的往往具有特定的通道数、大小等
  • ESP模块在参数量、内存占用、感受野三个方面都优于

    Inception Module

 

ResNext Module

  • 是ResNet中bottleneck模块的并行版本
  • 基于split-reduce-transform-expand-merge策略设计
  • ESP模块借鉴了其分支求和的思想
  • 但ESP模块在参数量、内存占用、感受野三个方面都优于ResNext Module

 

Atrous spatial pyramid (ASP) module

  • 基于split-transform-merge策略设计
  • 通过在不同的分支上使用不同大小的膨胀卷积来捕捉不同大小的感受野
  • 由于其感受野较大，在分割任务上表现出色
  • 缺点是内存占用较大，且参数量较多

 

不同Module在参数量、内存开销、感受野大小方面的对比

4 网络结构

文中给出了4种网络结构，其中前3种网络的输出mask为输入尺寸的1/8。为了适配不同的应用场景，引入了超参数\alpha_l，其实就是ESP模块的重复堆叠个数。因为在网络前两个stage(l=0,1)，feature map较大，占用内存和计算开销较多，所以没有堆叠，主要都是在后面几级堆ESP模块。

四种网络结构（从简到繁）简单解释如下：

  • ESPNet-A：基本网络。学习不同级别的特征，最后通过1x1 conv得到mask；
  • ESPNet-B：在A的基础上添加了跨步连接，改善了信息流；
  • ESPNet-C：在B的基础上继续添加跨步连接，这次连接的是下采样后的输入图像；
  • ESPNet：最终形态。在ESPNet-C的基础上，添加了一个轻量级的解码器，从而得到与输入图像相同分辨率的mask。
Wilber529
关注
专栏目录
ESPnet
AI + 工程
01-28 881
关于 ESPnet 安装配置 运行 yesno
语义分割论文：ESPNet:Efficient Spatial Pyramid of Dilated Convolutions for Semantic Segmentation (ECCV2018)
mingo_敏
04-01 1416
ESPNet: ESPNet: Efficient Spatial Pyramid of Dilated Convolutions for Semantic Segmentation (ECCV2018) https://arxiv.org/pdf/1803.06815.pdf PyTorch: https://github.com/sacmehta/ESPNet
ESPnet：端到端语音处理工具包-Python开发
05-25
ESPnet是一个端到端的语音处理工具包，主要侧重于端到端的语音识别和端到端的文本到语音。 ESPnet使用链接器和pytorch作为主要的深度学习引擎，并且还遵循Kaldi样式的数据处理，特征提取/格式和配方来为语音识别和其他语音处理实验提供完整的设置。 ESPnet：端到端语音处理工具包系统/ pytorch版本。 1.0.1 1.1.0 1.2.0 1.3.1 1.4.0 1.5.1 1.6.0 1.7.0 ubuntu18 / python3.8 / pip ubuntu18 / python3.7 / pip ubuntu18 / python3.6 / conda ubuntu20 / python3.6 / conda debian9 / python3.6 / conda centos7 / python3.6 / conda debian9 / python3.6 / conda centos7 / python3.6 / conda [docs / coverage] python3.8 Docs | 例子 示例（ESPnet2）| 码头工人| 笔记本| Tutor
【读点论文】ESPNet: Efficient Spatial Pyramid of Dilated Convolutions for Semantic Segmentation，逐点卷积加上空洞卷积
白水空空
09-14 1753
本文引入了一种快速高效的卷积神经网络ESPNet，。ESPNet基于一种新的卷积模块——高效空间金字塔(efficient spatial pyramid, ESP)，它在计算、内存和功耗方面都非常高效。ESPNet比表现良好的语义分割网络PSPNet快22倍(在标准GPU上)，小180倍，而分类准确率仅低8%。本文在各种语义分割数据集上评估EPSNet，包括cityscape、PASCAL VOC和一个乳腺活检整个幻灯片图像数据集。
ESPNet: 端到端语音处理工具包安装及使用指南
最新发布
gitblog_00364的博客
08-09 1128
ESPNet: 端到端语音处理工具包安装及使用指南 espnetespnet: 是一个开源的语音处理（ESP）工具包，包括各种语音处理算法和工具，如语音识别、语音合成、语音转换等。适合研究者和开发者使用 espnet 进行语音处理和自然语言处理任务。项目地址:https://gitcode.com/gh_mirrors/es/espnet 1. 项目介绍 ESPNet是一个开源的端到端语音处理工...
《ESPNet v1：Efficient Spatial Pyramid of Dilated Convolutions for Semantic Segmentation》论文笔记
m_buddy的博客
06-20 857
代码地址：ESPNet v1 1. 概述 导读：这篇文章提出了在有限资源环境下对高分辨率图像进行快速高效分割的卷积网络ESPNet。ESPNet是基于一个新型的卷积模块（Efficient Spatial Pyramid，ESP），该模块高效且强大。在（标准？）GPU上比PSPNet快22倍，体积却小了180倍，在GPU上可以飚到112FPS。在VOC-2012数据集上达到了63.01的IoU，...
ESPNet: Efficient Spatial Pyramid of Dilated Convolutions for Semantic Segmentation（自动驾驶领域轻量级模型）
qq_29462849的博客
06-11 1967
主要思想 基于传统卷积模块设计，提出一种高效空间金字塔卷积模块（ESP Module），有助于减小模型运算量和内存、功率消耗，以提高在终端设备上的适用性。这款模型和MobileNet系列、ShuffNet系列相似，都是轻量级模型，可以部署到移动端。 模型具体结构 如下图所示，模型主要有两个模块构成，一个是Efficient spatial pyramid模块，一个是HFF模块。 Efficien...
论文阅读 ESPNet: Efficient Spatial Pyramid of Dilated Convolutions for Semantic Segmentation
qq_32678471的博客
01-10 1632
论文链接：https://arxiv.org/abs/1803.06815 论文代码链接：https://github.com/sacmehta/ESPNet Abstract 我们引入了一个快速有效的卷积神经网络ESPNet，用于资源约束下的高分辨率图像的语义分割。ESPNet基于一个新的卷积模块，即高效的空间金字塔（ESP），它在计算，存储和功率方面都很有效。目前最先进的语义分割网络PSPNe...
【论文笔记】ESPNet系列论文笔记
AI爱好者的博客，分享计算机领域相关知识
03-14 2892
ESPNet是轻量级的网络，目前有ESPNetV1和ESPNetV2共2个版本，本文为论文阅读笔记，包含复现的代码。
《ESPNet v2：A Light-weight Power Efficient and General Purpose Convolutional Neural Network》论文笔记
m_buddy的博客
06-23 793
代码地址：ESPNet v2 1. 概述 这篇文章在ESPNet v1的基础上进行改进得来的，这个网络结构中使用group point-wise与depth-wise膨胀分离卷积在使用较少计算量与参数的情况下有效学习大感受野的表达。文章提出的网络结构可以扩展到其它任务中去，如目标检测、语义分割、目标分类、语言模型。相比之前的v1版本文章的网络更加快速与精确；对于检测模型YOLO v2，采用文章的...
ESPNet:Efficient Spatial Pyramid of Dilated Convolutions for Semantic Segmentation-------论文理解
ruoruojiaojiao的博客
05-28 521
参考博客：https://blog.csdn.net/sinat_37532065/article/details/85723068 论文链接：https://arxiv.org/abs/1803.06815v2 1. 概述 提出在资源约束的情况下仍然能有效的对高分辨率图片进行语义分割的网络，ESPNet，基于一个新的卷积模块，即高效的空间金字塔（ESP），它在计算，内存和功率方面都很有效。...
Python-ESPNetv2一个轻量级高效率通用卷积神经网络
08-11
ESPNetv2: 一个轻量级，高效率，通用卷积神经网络
基于空间金字塔的卷积神经网络图像分类
03-27
基于空间金字塔的卷积神经网络图像分类
ESPNet: 自动驾驶领域轻量级分割模型
3D视觉工坊
12-08 762
原文首发于微信公众号「3D视觉工坊」——ESPNet: 自动驾驶领域轻量级分割模型 原文：ESPNet: Efficient Spatial Pyramid of Dilated Convolutions for Semantic Segmentation 论文链接：https://arxiv.org/abs/1803.06815v2 主要思想 基于传统卷积模块设计，提出一种高效空...
ESPNet: 轻量级深度学习框架，加速边缘计算AI
gitblog_00047的博客
04-16 457
ESPNet: 轻量级深度学习框架，加速边缘计算AI ESPNetESPNet: Efficient Spatial Pyramid of Dilated Convolutions for Semantic Segmentation项目地址:https://gitcode.com/gh_mirrors/espn/ESPNet 是一个专注于能源效率和速度优化的深度学习框架，特别适用于资源有限的边缘...
ESPnet Installation
qq_41651719的博客
04-20 416
#ESPnet Installation Reference https://espnet.github.io/espnet/installation.html Step 1 Install Kaldi Espnet 依赖 Kaldi，所以安装Kaldi的同时要对其进行编译，具体的编译步骤如下： $ cd ~/kaldi/tools $ make (make -j) $ cd ~/kaldi/src $ ./configure $ make -j $ make install Step 2 Ins
[深度学习从入门到女装]ESPNet: Efficient Spatial Pyramid of Dilated Convolutions for Semantic Segmentation
炼丹师
01-18 1051
论文地址：ESPNet: Efficient Spatial Pyramid of Dilated Convolutions for Semantic Segmentation   这是ECCV2018的一篇语义分割的论文   ESP（Efficient spatial pyramid） 文中提出了一个ESP（Efficient spatial pyramid）模块来对传统卷积进行fac...
ESPnet：语音处理与自然语言理解的全方位开源工具包
gitblog_00019的博客
03-20 428
ESPnet：语音处理与自然语言理解的全方位开源工具包 espnetespnet: 是一个开源的语音处理（ESP）工具包，包括各种语音处理算法和工具，如语音识别、语音合成、语音转换等。适合研究者和开发者使用 espnet 进行语音处理和自然语言处理任务。项目地址:https://gitcode.com/gh_mirrors/es/espnet 是一个基于深度学习的开源项目，专注于语音识别、语音合...
Espnet理解
nwnu_908的博客
06-21 488
2018年，Espnet团队开源了Espnet（end-to-end speech processing toolkit），可实现端到端 ASR和TTS系统。 [Espnet特色] （1）融合了Kaldi的数据处理和特征提取； （2）借助Pytorch跟Chainer，使用Python实现了端到端（E2E）模型； [Espnet模型] • CTC • Attention • RNN-T • Transformer ...
Small but Mighty: Enhancing 3D Point Clouds Semantic Segmentation with U-Next Framework
05-11
The field of 3D point cloud semantic segmentation has been rapidly growing in recent years, with various deep learning approaches being developed to tackle this challenging task. One such approach is the U-Next framework, which has shown promising results in enhancing the semantic segmentation of 3D point clouds. The U-Next framework is a small but powerful network that is designed to extract features from point clouds and perform semantic segmentation. It is based on the U-Net architecture, which is a popular architecture used in image segmentation tasks. The U-Next framework consists of an encoder and a decoder, with skip connections between them to preserve spatial information. One of the key advantages of the U-Next framework is its ability to handle large-scale point clouds efficiently. It achieves this by using a hierarchical sampling strategy that reduces the number of points in each layer, while still preserving the overall structure of the point cloud. This allows the network to process large-scale point clouds in a more efficient manner, which is crucial for real-world applications. Another important aspect of the U-Next framework is its use of multi-scale feature fusion. This involves combining features from different scales of the point cloud to improve the accuracy of the segmentation. By fusing features from multiple scales, the network is able to capture both local and global context, which is important for accurately segmenting complex 3D scenes. Overall, the U-Next framework is a powerful tool for enhancing the semantic segmentation of 3D point clouds. Its small size and efficient processing make it ideal for real-time applications, while its multi-scale feature fusion allows it to accurately segment complex scenes. As the field of 3D point cloud semantic segmentation continues to grow, the U-Next framework is likely to play an increasingly important role in advancing this area of research.
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值