SEAFORMER SQUEEZE-ENHANCED AXIAL TRANSFORMER FOR MOBILE SEMANTIC SEGMENTATION【即插即用】

SEAFORMER: SQUEEZE-ENHANCED AXIAL TRANSFORMER FOR MOBILE SEMANTIC SEGMENTATION

Seaformer:用于移动语义分割的挤压增强轴向TRANS。

https://github.com/fudan-zvg/SeaFormer

ICLR 2023

摘要

自从引入VIT以来，许多计算机视觉任务(例如，语义分割)的前景一直由cnn压倒性地主导，最近发生了重大变革。然而，计算成本和内存需求使得这些方法不适合移动设备，特别是对于高分辨率的逐像素语义分割任务。本文介绍了一种新的用于移动语义分割的挤压增强轴向Transformer(SeaFormer)方法。具体来说，我们设计了一个通用的注意力块，其特点是挤压轴和细节增强的配方。它可以进一步用于创建一系列具有卓越成本效益的骨干体系结构。再加上一个轻分割头，我们在基于arm的移动设备上在ADE20K和cityscape数据集上实现了分割精度和延迟之间的最佳权衡。关键的是，我们以更好的性能和更低的延迟击败了移动友好型竞争对手和基于transformer的对手，而且没有花哨的东西。除了语义分割之外，我们进一步将提出的SeaFormer架构应用于图像分类问题，展示了作为多功能移动友好骨干网的潜力。

框架

总结

在本文中，我们提出了用于移动语义分割的挤压增强轴向变压器(SeaFormer)，填补了移动友好型高效变压器的空白。此外，我们创建了SeaFormer系列骨干架构，并实现了成本效益。在ADE20K和cityscape上的卓越性能和最低的延迟证明了它在基于arm的移动设备上的有效性。除了语义分割之外，我们进一步将提出的SeaFormer架构应用于图像分类问题，展示了作为多功能移动友好骨干网的潜力。