ESPNet: Efficient Spatial Pyramid of Dilated Convolutions for Semantic Segmentation（自动驾驶领域轻量级模型）

最新推荐文章于 2024-08-09 07:38:49 发布
最新推荐文章于 2024-08-09 07:38:49 发布
阅读量1.9k 收藏 6
点赞数 1
分类专栏： 计算机视觉 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_29462849/article/details/91469348
版权
ESPNet是一种高效的空间金字塔卷积模块，适用于轻量级语义分割任务，尤其适合移动端。模型包括Efficient spatial pyramid和HFF模块，通过1x1卷积降低维度并使用空洞卷积扩大感受野。HFF模块解决了空洞卷积的gridding artifacts问题。在参数量少的情况下，ESPNet在VOC数据集上表现出色。
摘要由CSDN通过智能技术生成

主要思想

基于传统卷积模块设计，提出一种高效空间金字塔卷积模块（ESP Module），有助于减小模型运算量和内存、功率消耗，以提高在终端设备上的适用性。这款模型和MobileNet系列、ShuffNet系列相似，都是轻量级模型，可以部署到移动端。

模型具体结构

如下图所示，模型主要有两个模块构成，一个是Efficient spatial pyramid模块，一个是HFF模块。
在这里插入图片描述

Efficient spatial pyramid

这个部分由两个子部分构成，前面部分是逐点卷积，就是采用K个1x1xM的小卷积核对原图进行卷积操作，1x1卷积的作用其实就是为了降低维度，这样就可以减少参数，这也是轻量级模型的思路。后面的部分是空洞卷积，即在没有进行下采样（pooling）的操作下，扩大感受野。使用不同膨胀率的卷积核，可以得到不同感受野下的feature，这一点有点类似金字塔池化，所以这个模块也叫ESP。

参数计算

下面来计算下一共包含的参数，其实在效果上，以这种轻量级的网络作为backbone效果肯定不如那些重量级的，比如Resnet，但是在运行速度上有很大优势。

如上图所示，对Efficient spatial pyramid第一部分来说，d个1x1x

最低0.47元/天 解锁文章
Tom Hardy
关注
专栏目录
语义分割论文：ESPNet:Efficient Spatial Pyramid of Dilated Convolutions for Semantic Segmentation (ECCV2018)
mingo_敏
04-01 1414
ESPNet: ESPNet: Efficient Spatial Pyramid of Dilated Convolutions for Semantic Segmentation (ECCV2018) https://arxiv.org/pdf/1803.06815.pdf PyTorch: https://github.com/sacmehta/ESPNet
ESPNet: 自动驾驶领域轻量级分割模型
3D视觉工坊
12-08 760
原文首发于微信公众号「3D视觉工坊」——ESPNet: 自动驾驶领域轻量级分割模型 原文：ESPNet: Efficient Spatial Pyramid of Dilated Convolutions for Semantic Segmentation 论文链接：https://arxiv.org/abs/1803.06815v2 主要思想 基于传统卷积模块设计，提出一种高效空...
《ESPNet v1：Efficient Spatial Pyramid of Dilated Convolutions for Semantic Segmentation》论文笔记
m_buddy的博客
06-20 857
代码地址：ESPNet v1 1. 概述 导读：这篇文章提出了在有限资源环境下对高分辨率图像进行快速高效分割的卷积网络ESPNet。ESPNet是基于一个新型的卷积模块（Efficient Spatial Pyramid，ESP），该模块高效且强大。在（标准？）GPU上比PSPNet快22倍，体积却小了180倍，在GPU上可以飚到112FPS。在VOC-2012数据集上达到了63.01的IoU，...
论文阅读 ESPNet: Efficient Spatial Pyramid of Dilated Convolutions for Semantic Segmentation
qq_32678471的博客
01-10 1631
论文链接：https://arxiv.org/abs/1803.06815 论文代码链接：https://github.com/sacmehta/ESPNet Abstract 我们引入了一个快速有效的卷积神经网络ESPNet，用于资源约束下的高分辨率图像的语义分割。ESPNet基于一个新的卷积模块，即高效的空间金字塔（ESP），它在计算，存储和功率方面都很有效。目前最先进的语义分割网络PSPNe...
探索ESPnet：端到端语音处理工具包的全面解析
最新发布
gitblog_00514的博客
08-09 709
探索ESPnet：端到端语音处理工具包的全面解析 espnetespnet: 是一个开源的语音处理（ESP）工具包，包括各种语音处理算法和工具，如语音识别、语音合成、语音转换等。适合研究者和开发者使用 espnet 进行语音处理和自然语言处理任务。项目地址:https://gitcode.com/gh_mirrors/es/espnet 项目介绍 ESPnet，全称End-to-End Spee...
【读点论文】ESPNet: Efficient Spatial Pyramid of Dilated Convolutions for Semantic Segmentation，逐点卷积加上空洞卷积
白水空空
09-14 1751
本文引入了一种快速高效的卷积神经网络ESPNet，。ESPNet基于一种新的卷积模块——高效空间金字塔(efficient spatial pyramid, ESP)，它在计算、内存和功耗方面都非常高效。ESPNet比表现良好的语义分割网络PSPNet快22倍(在标准GPU上)，小180倍，而分类准确率仅低8%。本文在各种语义分割数据集上评估EPSNet，包括cityscape、PASCAL VOC和一个乳腺活检整个幻灯片图像数据集。
论文学习笔记（四）ESPNet: Efficient Spatial Pyramid of Dilated Convolutions for Semantic Segmentation
热门推荐
Custom自定义
01-10 1万+
『写在前面』 2018上半年出品的语义分割轻量级网络。 论文出处：ECCV 2018 作者机构：Sachin Mehta等，University of Washington 原文链接：https://arxiv.org/abs/1803.06815v2 相关repo：https://github.com/sacmehta/ESPNet 目录 摘要 1 介绍 2 相关工作 关...
[深度学习从入门到女装]ESPNet: Efficient Spatial Pyramid of Dilated Convolutions for Semantic Segmentation
炼丹师
01-18 1051
论文地址：ESPNet: Efficient Spatial Pyramid of Dilated Convolutions for Semantic Segmentation   这是ECCV2018的一篇语义分割的论文   ESP（Efficient spatial pyramid） 文中提出了一个ESP（Efficient spatial pyramid）模块来对传统卷积进行fac...
ESPNet:Efficient Spatial Pyramid of Dilated Convolutions for Semantic Segmentation-------论文理解
ruoruojiaojiao的博客
05-28 521
参考博客：https://blog.csdn.net/sinat_37532065/article/details/85723068 论文链接：https://arxiv.org/abs/1803.06815v2 1. 概述 提出在资源约束的情况下仍然能有效的对高分辨率图片进行语义分割的网络，ESPNet，基于一个新的卷积模块，即高效的空间金字塔（ESP），它在计算，内存和功率方面都很有效。...
Espnet理解
nwnu_908的博客
06-21 488
2018年，Espnet团队开源了Espnet（end-to-end speech processing toolkit），可实现端到端 ASR和TTS系统。 [Espnet特色] （1）融合了Kaldi的数据处理和特征提取； （2）借助Pytorch跟Chainer，使用Python实现了端到端（E2E）模型； [Espnet模型] • CTC • Attention • RNN-T • Transformer ...
Python-ESPNetv2一个轻量级高效率通用卷积神经网络
08-11
ESPNetv2: 一个轻量级，高效率，通用卷积神经网络
ESPNetv2：轻巧，高效，通用的卷积神经网络
03-02
ESPNetv2：轻巧，高效，通用的卷积神经网络 重要说明1（2019年6月7日） ：我们发布了新的代码库，该代码库支持多个数据集和模型，包括ESPNetv2。 请查看更多详细信息。 重要说明2（2019年6月7日） ：该存储库已过时，我们不再维护它。 该存储库包含我们论文的源代码 ，该源代码已被接受并在CVPR'19上发布。 注意： PASCAL VOC和Cityscapes的新细分模型即将推出。 我们的新模型在PASCAL VOC和Cityscapes测试仪上分别达到了和 。 在iPhone7上使用ESPNetv2进行实时语义分段（有关详细信息，请参阅 ） 与SOTA方法的比较 与最先进的高效网络相比，我们的网络可提供具有竞争力的性能，同时具有更高的电源效率。 示例结果如下图所示。 有关更多详细信息，请阅读我们的论文。 ImageNet数据集上的FLOP与准确性 TX2设备上
Python-ESPnet端到端语音处理工具集
08-09
主要侧重于端到端语音识别和端到端的文本到语音转换。 ESPnet使用chainer和pytorch作为主要的深度学习引擎，并遵循Kaldi风格的数据处理，特征提取/格式和配方，为语音识别和其他语音处理实验提供完整的设置。
espnet代码解读（1）：asr.py
weixin_43789697的博客
03-21 5287
位置：espnet/espnet/asr/pytorch_backend/asr.py 核心代码 # 从jason文件中获取输入、输出维度，idim_list:特征向量维数[23], odim:483（汉字字符数） with open(args.valid_json, "rb") as f: valid_json = json.load(f)["utts"] utts = list(valid_json.keys()) idim_list = [
[源码解析]ESPnet脚本源码解析-aishell-asr.sh
的博客
04-04 4326
这段代码是ESPnet案例里面的aishell的asr里面的运行总脚本asr.sh 传送门 解析参数 #!/usr/bin/env bash # Set bash to 'debug' mode, it will exit on : # -e 'error', -u 'undefined variable', -o ... 'error in pipeline', -x 'print commands', set -e set -u set -o pipefail log() { local f
《ESPNet v2：A Light-weight Power Efficient and General Purpose Convolutional Neural Network》论文笔记
m_buddy的博客
06-23 793
代码地址：ESPNet v2 1. 概述 这篇文章在ESPNet v1的基础上进行改进得来的，这个网络结构中使用group point-wise与depth-wise膨胀分离卷积在使用较少计算量与参数的情况下有效学习大感受野的表达。文章提出的网络结构可以扩展到其它任务中去，如目标检测、语义分割、目标分类、语言模型。相比之前的v1版本文章的网络更加快速与精确；对于检测模型YOLO v2，采用文章的...
【第五期论文复现赛-语义分割】ESPNet
m0_63642362的博客
01-15 652
第五期论文复现赛ESPNet，ESPNet适用于语义分割任务，本次复现的目标是Cityscapes 验证集miou 60.30%，复现的miou61.82%，该算法已被PaddleSeg合入。
【NLP】ESPNet语音识别——原理、实现过程
火火的博客
01-15 1万+
文章目录前言什么是端到端？什么是ESPNet？参考文献 前言 本文的主旨： 阐述 ESPnet 进行端到端语音识别的基本原理、实现方法和主要流程。 什么是端到端？ 传统的机器学习中，往往包含多个独立的模块：以NLP问题举例——包括分词、标注、分析句法和语义、等多个独立模块。每一个模块的输出好坏会影响下一个结果，从而影响整个训练的结果，这就是非端到端； 而在训练深度学习模型时，输入的数据后，输出的结果与真实结果会有一个误差，误差再通过反向传播来调整每一层网络的参数、权重（或者说Embedding），直到
Small but Mighty: Enhancing 3D Point Clouds Semantic Segmentation with U-Next Framework
05-11
The field of 3D point cloud semantic segmentation has been rapidly growing in recent years, with various deep learning approaches being developed to tackle this challenging task. One such approach is the U-Next framework, which has shown promising results in enhancing the semantic segmentation of 3D point clouds. The U-Next framework is a small but powerful network that is designed to extract features from point clouds and perform semantic segmentation. It is based on the U-Net architecture, which is a popular architecture used in image segmentation tasks. The U-Next framework consists of an encoder and a decoder, with skip connections between them to preserve spatial information. One of the key advantages of the U-Next framework is its ability to handle large-scale point clouds efficiently. It achieves this by using a hierarchical sampling strategy that reduces the number of points in each layer, while still preserving the overall structure of the point cloud. This allows the network to process large-scale point clouds in a more efficient manner, which is crucial for real-world applications. Another important aspect of the U-Next framework is its use of multi-scale feature fusion. This involves combining features from different scales of the point cloud to improve the accuracy of the segmentation. By fusing features from multiple scales, the network is able to capture both local and global context, which is important for accurately segmenting complex 3D scenes. Overall, the U-Next framework is a powerful tool for enhancing the semantic segmentation of 3D point clouds. Its small size and efficient processing make it ideal for real-time applications, while its multi-scale feature fusion allows it to accurately segment complex scenes. As the field of 3D point cloud semantic segmentation continues to grow, the U-Next framework is likely to play an increasingly important role in advancing this area of research.
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值