UltraLight-VM-UNet

传统上，为了提高模型分割性能，大多数方法倾向于添加更复杂的模块。但这并不适用于医疗领域，尤其是在移动医疗设备上，由于计算资源限制，计算负担重的模型不适合真实的临床环境。最近，以Mamba为代表的状态空间模型（SSMs）成为传统卷积神经网络（CNNs）和Transformers的有力竞争者。在本文中，作者深入探讨了Mamba中参数影响的关键要素，并基于此提出了超轻量级视觉Mamba UNet（UltraLight VM-UNet）。

具体来说，作者提出了一种在并行视觉Mamba中处理特征的方法，称为PVM层，在保持处理通道总数不变的同时，实现了最低的计算负载和卓越的性能。作者在三个皮肤病变公共数据集上进行了与几个最先进的轻量级模型的比较和消融实验，并展示了仅拥有0.049M参数和0.060 GFLOPs的UltraLight VM-UNet具有同样强大的性能竞争力。此外，本研究深入探讨了Mamba中参数影响的关键要素，这将为Mamba可能在未来成为轻量化领域的新主流模块奠定理论基础。

该模型不仅在参数数量上实现了前所未有的精简——仅有0.049M，而且在计算效率上也达到了新的高度，GFLOPs仅为0.060。 

论文：https://arxiv.org/pdf/2403.20035.pdf

源码：https://github.com/wurenkai/UltraLight-VM-UNet

导读

在医学图像分割领域中，皮肤病变分割同眼底视网膜血管分割、息肉分割算是几个非常经典的研究课题。

随着移动医疗设备的兴起，对于能够在这些设备上高效运行的轻量级模型的需求日益增长。

然而，大多数深度学习模型往往因为其庞大的参数量和高计算需求，难以满足这一需求。

在此之前，比较有代表性的一个方法是此前上海交大团队发表在 MICCAI'23 上发表的 EGE-UNe。

随着 Mamba 热潮的兴起，作为一度被视为“魔改重灾区”的医学图像分割领域自然也被各家机构和高校给盯上，正如此前我们发布过的第一个基于纯 Mamba 架构的医学图像分割模型 VM-UNet。

今天，同样是来自上海这边的高校团队为我们带来了一个极具“性价比”的工作——UltraLight VM-UNet。

在这篇精彩的论文中，作者们巧妙地将最新的状态空间模型（SSMs）技术——Mamba，融入到经典的UNet架构中，创造出了一种名为 UltraLight VM-UNet 的新型轻量级模型。