用Mamba做图像修复是个值得关注的新兴方向,核心优势在于Mamba的长序列建模能力,可以替代Transformer,在高分辨率或复杂场景的实时修复等任务中优势显著。
这意味着,Mamba+图像修复会在热门的医学图像、自动驾驶等领域发展迅猛,落地前景可观。再加上,近年主流顶会(比如CVPR)对SSM类模型接受度较高,比如横扫14个图像修复任务的MaIR、降低150倍计算复杂度的Serpent...非常适合有论文需求的同学研究。
本文整理了10篇Mamba+图像修复2025新论文,大多都开源了,想快速出成果的同学可以直接拿来做参考,同时也建议从架构设计、任务适配、理论创新、轻量化等角度做创新,比较容易上手。
全部论文+开源代码需要的同学看文末
Serpent: Scalable and efficient image restoration via multi-scale structured state space models
方法:论文提出了一种名为Serpent的图像修复方法,它基于Mamba状态空间模型,通过多尺度处理高效建模图像中的长距离依赖。相比传统方法,Serpent 在高分辨率图像修复中大幅降低了计算量和内存需求,同时保持了优秀的修复效果。
创新点:
-
使用Mamba模型,实现线性复杂度的长距离依赖建模。
-
设计了一种分层架构,将输入图像划分为多个尺度进行处理,利用Mamba模型在每个尺度上高效地建模长距离依赖
-
在高分辨率图像修复中,实现了高达150倍的计算复杂度降低和5倍的GPU内存需求减少,同时保持高质量的修复效果。
MaIR: ALocality- and Continuity-Preserving Mamba for Image Restoration
方法:论文提出了一种基于Mamba的图像修复模型MaIR,通过设计NSS策略和SSA块,在保留图像局部性和连续性的同时,高效地捕捉长距离依赖关系,从而在多种图像修复任务(如超分辨率、去噪、去模糊和去雾)中取得了优异的性能。
创新点:
-
提出NSS策略,通过基于条带的扫描区域和S形扫描路径,同时保留图像的局部性和连续性。
-
设计SSA块,通过计算不同序列对应通道的注意力权重来聚合序列,有效利用不同方向的互补信息。
-
在多个图像修复任务上,MaIR在14个数据集上超越了40个基线方法,取得了最先进的性能。
Q-MambaIR: Accurate Quantized Mamba for Efficient Image Restoration
方法:论文提出了一种名为 Q-MambaIR 的图像修复方法,通过动态调整量化范围和灵活舍入机制,解决了低比特量化时的误差问题,显著提升了图像修复的准确性和效率。
创新点:
-
提出动态平衡可学习标量,动态调整量化范围以适应输入数据分布,减少异常值导致的截断损失。
-
设计范围浮动灵活分配器,通过自适应阈值灵活舍入值,保留高频细节并维持特征提取能力。
-
在低比特量化下,Q-MambaIR 显著优于现有方法,且几乎不增加训练计算和存储开销,适合在资源受限设备上部署。
MxT: Mamba x Transformer for Image Inpainting
方法:论文提出了一种名为M×T的图像修复方法,结合了Mamba和Transformer的优势。通过混合模块实现两者的协同作用,M×T 在图像修复任务中表现出色,尤其在细节和上下文一致性方面优于现有方法。
创新点:
-
提出了一种结合 Mamba 和 Transformer 的新型混合模块,用于图像修复任务,充分发挥两者的优势。
-
通过在像素级和块级进行双重交互学习,显著提升了图像修复的细节和上下文一致性。
-
在 CelebA-HQ 和 Places2 数据集上实现了优于现有最先进方法的性能,并且能够高效处理高分辨率图像。
关注下方《学姐带你玩AI》🚀🚀🚀
回复“222”获取全部方案+开源代码
码字不易,欢迎大家点赞评论收藏