SEAFORMER SQUEEZE-ENHANCED AXIAL TRANSFORMER FOR MOBILE SEMANTIC SEGMENTATION【即插即用】

最新推荐文章于 2024-05-29 09:41:53 发布
最新推荐文章于 2024-05-29 09:41:53 发布
阅读量601 收藏 4
点赞数 7
CC 4.0 BY-SA版权
分类专栏： 论文阅读 文章标签： transformer 深度学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/bettle_king/article/details/137127462
SeaFormer是一种新型Transformer架构，专为移动设备上的高分辨率语义分割而设计。通过创新的挤压轴和细节增强机制，SeaFormer在保持高性能的同时降低计算成本和内存需求，且在移动友好的比赛中超越了竞争者。同时，它还展示了在图像分类上的多功能潜力。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

SEAFORMER: SQUEEZE-ENHANCED AXIAL TRANSFORMER FOR MOBILE SEMANTIC SEGMENTATION

Seaformer:用于移动语义分割的挤压增强轴向TRANS。

https://github.com/fudan-zvg/SeaFormer

ICLR 2023

摘要

自从引入VIT以来，许多计算机视觉任务(例如，语义分割)的前景一直由cnn压倒性地主导，最近发生了重大变革。然而，计算成本和内存需求使得这些方法不适合移动设备，特别是对于高分辨率的逐像素语义分割任务。本文介绍了一种新的用于移动语义分割的挤压增强轴向Transformer(SeaFormer)方法。具体来说，我们设计了一个通用的注意力块，其特点是挤压轴和细节增强的配方。它可以进一步用于创建一系列具有卓越成本效益的骨干体系结构。再加上一个轻分割头，我们在基于arm的移动设备上在ADE20K和cityscape数据集上实现了分割精度和延迟之间的最佳权衡。关键的是，我们以更好的性能和更低的延迟击败了移动友好型竞争对手和基于transformer的对手，而且没有花哨的东西。除了语义分割之外，我们进一步将提出的SeaFormer架构应用于图像分类问题，展示了作为多功能移动友好骨干网的潜力。

框架

在这里插入图片描述

最低0.47元/天 解锁文章
YOLOv7优化：轻量高效注意力模块Sea_AttentionBlock | ICLR2023|SeaFormer：轻量级语义分割算法,复旦大学和腾讯联合提出
10-12 1349
本文独家改进：一种即插即用的通用注意力模块Sea_AttentionBlock ，带有squeeze Axial和细节增强，二次创新引入到YOLOv7增强特征提取能力
SeaFormer：轻量高效的注意力模块
m0_47867638的博客
04-29 2343
语义分割是计算机视觉中的一个基本问题，其目的是为图像中的每个像素分配一个语义类标签。传统的方法依靠叠加局部卷积核Long et al.(2015)来感知图像的长程结构信息。自从视觉变形器Dosovitskiy等人(2021)引入以来，语义分割领域发生了重大变革。基于变压器的方法郑等(2021);Xie等人(2021)已经显著地展示了全球上下文建模的能力。然而，Transformer的计算成本和内存需求使得这些方法不适用于移动设备，尤其是高分辨率图像输入。
SeaFormer：超越TopFormer的轻量级移动端语义分割模型
m0_63642362的博客
03-14 3496
ICLR2023最新论文，移动端福音！SeaFormer: Squeeze-enhanced Axial Transformer
探索未来视觉处理的轻量级先锋：SeaFormer
gitblog_00022的博客
05-29 829
探索未来视觉处理的轻量级先锋：SeaFormer 去发现同类优质开源项目:https://gitcode.com/ 在深度学习领域，尤其是在移动设备上追求高性能与低延迟平衡的语义分割任务中，一款革新性的模型正迅速崛起——SeaFormer：挤压增强轴向变换器。本篇文章将深入探讨这一开源项目的卓越之处，为何它能成为视觉任务优化的新宠儿。 项目介绍 SeaFormer是由Qiang Wan等学者为IC...
Yolov5涨点技巧：轻量高效注意力模块Sea_AttentionBlock | ICLR2023|SeaFormer：轻量级语义分割算法,复旦大学和腾讯联合提出
06-09 1908
YOLOv5引入ICLR2023轻量高效注意力模块Sea_AttentionBlock，在多个数据集亲测能够涨点，对小目标涨点更显著
Yolov8涨点技巧：轻量高效注意力模块Sea_AttentionBlock | ICLR2023|SeaFormer：轻量级语义分割算法,复旦大学和腾讯联合提出
06-12 3257
YOLOv8引入ICLR2023轻量高效注意力模块Sea_AttentionBlock，在多个数据集亲测能够涨点，对小目标涨点更显著
学习记录——Transformer、ViT、Swin-Transformer、SegFormer、TopFormer、Seaformer
Chaoy6565的博客
07-12 1766
在原论文中，作者说参考BERT，在刚刚得到的一堆tokens中插入一个专门用于分类的[class]token，这个[class]token是一个可训练的参数，数据格式和其他token一样都是一个向量，以ViT-B/16为例，就是一个长度为768的向量，与之前从图片中生成的tokens拼接在一起，Cat([1, 768], [196, 768]) -> [197, 768]。如上面的框架图所示，该网络先对图像进行1/2、1/4和1/8的下采样，再分别用两个分支进行处理，红色的是上下文分支，蓝色的是空间分支。
Transfomers For Segmentation相关文章
weixin_39402231的博客
11-02 341
Transfomers For Segmentation相关文章
SEA注意力机制原理
03-08
The SeaFormer model employs an innovative approach known as the Squeeze-enhanced Axial Transformer designed specifically for mobile semantic segmentation tasks[^4]. #### Core Components of SEA ...
SeaFormer实战：使用SeaFormer实现图像分类任务（二）
AI浩
05-30 2407
训练部分。
SeaFormer实战：使用SeaFormer实现图像分类任务
04-29
SeaFormer是一个轻量级的Transformers模型，最小的SeaFormer_T只有6M大小。设计了一种具有压缩轴向和细节增强的注意力模块，使其能够更好的在移动端应用。 通过这篇文章能让你学到： 如何使用数据增强，包括transforms的增强、CutOut、MixUp、CutMix等增强手段？ 如何实现SeaFormer模型实现训练？ 如何使用pytorch自带混合精度？ 如何使用梯度裁剪防止梯度爆炸？ 如何使用DP多显卡训练？ 如何绘制loss和acc曲线？ 如何生成val的测评报告？ 如何编写测试脚本测试测试集？ 如何使用余弦退火策略调整学习率？ 如何使用AverageMeter类统计ACC和loss等自定义变量？ 如何理解和统计ACC1和ACC5？ 如何使用EMA？ 如果使用Grad-CAM 实现热力图可视化？ 原文链接：https://blog.csdn.net/m0_47867638/article/details/130440291?spm=1001.2014.3001.5501
YoloV8改进策略：让SeaFormer走进Yolov8的视野，轻量高效的注意力模块展现出无与伦比的魅力
热门推荐
m0_47867638的博客
05-25 1万+
SeaFormer是今年关注度比较高的模型，其轻量高效的注意力模块，在图像分类和实例分割的任务表现非常出色，那我们一起试试它在YoloV8上的表现吧！ 首先，我们一起阅读论文的翻译，了解什么是SeaFormer，以及实现它的方法。然后，我们一起尝试几种改进方法；最后，我们总结SeaFormer在Yolov8中的表现。当然，我的试验结果并不一定代表SeaFormer的真实实例，数据集不同，效果也有一定的差别，甚至是巨大的，所以大家也要动手实验才行。论文：https://openreview.net/pdf?i
从零开始复现seaformer(语义分割)训练自己的数据集——linux
chen273cpf的博客
10-09 3296
2）在seaformer-seg下创建modelzoos文件夹，在modelzoos文件夹下创建classification文件夹用于存放seaformer提供的预训练权重文件，将下载的预训练权重改名为SeaFormer_S.pth。修改SeaFormer-main\seaformer-seg\local_configs\seaformer\seaformer_small.py，改为自己的类别数并将第一行中的SyncBN改为BN。记录一下，若存在不对的地方，请大家多多包涵~3）安装mmcv-full。
【组会整理及心得】PatchDCT、SeaFormer、DilateFormer、MixFormer、ShadowFormer、MISSFormer、FMCNet
？？的博客
02-20 4967
PatchDCT、SeaFormer、DilateFormer、MixFormer、ShadowFormer、MISSFormer、FMCNet
周论文总结_22_02_10
qq_43635038的博客
02-13 380
该文章主要是通过对前人的研究方法进行一个利用，使用轴向注意力进行改进，减小了参数量，达到了可以在移动端使用，同时插入了增强模块，设计了新的注意力模块。然后通过三层下采样以及融合模块构成了总体框架。下周把本周组会内容丰富一下，学习一下其他同学的总结，认真学习。
语义分割干货|7篇带有开源代码的语义分割论文
AbnerAI的博客
02-19 1128
今天跟大家分享7篇带有开源代码的。
每日学术速递2.1
与君共勉，一起学习
02-01 1257
标题：SeaFormer:用于移动语义分割的挤压增强型轴向变换器作者： Qiang Wan, Zilong Huang, Jiachen Lu, Gang Yu, Li Zhang文章链接：https://arxiv.org/abs/2301.13156v1项目代码：https://github.com/fudan-zvg/seaformer摘要： 自从引入视觉变换器后，许多计算机视觉任务（如语义分割）的格局，最近被CNN压倒性地主宰，发生了显著的变化。然而，计算成本和内存要求使得这些方法不
20230210组会论文学习打卡
aaa韩子冉
02-13 792
深度学习
Recurrent squeeze-and-excitation context aggregation net for single image deraining
最新发布
03-13
### 循环挤压-激励上下文聚合网络在单张图像去雨中的应用 #### 网络结构概述 Recurrent Squeeze-and-Excitation Context Aggregation Network (RESCAN) 是一种专门针对单张图像去雨设计的深度学习模型。该网络旨在通过递归机制有效去除图像中的雨痕，从而提高图像质量[^3]。 #### 特征提取模块 输入含雨图像后，首先利用改进版 DenseNet 提取全局特征。此版本的 DenseNet 移除了转换层（1 Conv + 1 Pooling），因此不会执行下采样操作，有助于保留更多细节信息。 #### 子网工作流程 所提取的整体特征被送入多个并行工作的子网络中。每个子网络负责估算特定尺度下的雨纹图 \( R_i \)，并通过累加获得当前阶段总的雨纹图。随后，将原图与所得雨纹图做减法运算得出初步清理后的图片。上述过程会迭代多次，在每一新轮次里以前一轮处理过的影像作为输入继续优化直至最终产出完全无雨斑点的照片。 #### 关键组件分析 - **循环卷积层**：为了更好地捕捉时间序列特性以及增强记忆能力，采用了具备 ResNet 快捷链接特性的循环卷积单元。 - **Squeeze-and-Excitation (SE)**：引入 SE 结构可以自动调整通道间权重分配，使得重要区域获得更多关注资源，进而改善视觉表现力[^5]。 - **未使用 Batch Normalization**：考虑到 BN 可能破坏原有空间关联性，并且增加额外计算负担，故而在本框架内舍弃了这项技术。实验证明这样做不仅提升了性能指标还减少了约40% 的 GPU 显存占用量[^4]。 ```python import torch.nn as nn class RESCAN(nn.Module): def __init__(self, num_stages=4): super(RESCAN, self).__init__() # Define feature extraction module based on modified DenseNet without transition layers # Define recurrent sub-networks using recursive convolutional units with ResNet shortcuts # Implement squeeze-and-excitation mechanism to enhance channel-wise attention def forward(self, x): features = self.feature_extraction(x) rain_maps = [] clean_image = None for stage in range(num_stages): current_rain_map = self.sub_network(features) rain_maps.append(current_rain_map) if stage == 0: clean_image = x - sum(rain_maps) else: clean_image = clean_image - sum(rain_maps[stage:]) return clean_image ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值