【ACMMM2024】Multi-Scale and Detail-Enhanced Segment Anything Model for Salient Object Detection

论文：https://arxiv.org/abs/2408.01276

代码：https://github.com/AlexZou14/Wave-Mamba

这个论文的主要研究动机就是把Mamba应用于超高分辨率暗光图像增强（UHD LLIE）。首先，作者描述两个现象：

• In the wavelet domain, most image information resides in the low-frequency component, with only a minor portion of texture information in the high frequency component.
• High-frequency information has a minimal impact on the results of LLIE.

因此，作者构建建的目标是增强低频信息，利用增强的低频信息调整高频信息，节省计算资源。作者提出的模型整体框架如下图所示，个人感觉和Restormer特别像。作者的改进主要是加入了小波变换，同时设计了两个关键模块：low-frequency state space block (LFSSBlock) 和 high-frequency enhance block (HFEBlock)，下面将分别介绍。

low-frequency state space block (LFSSBlock)： 特征经过DWT以后，低频部分输入到LFSS，是一个典型的 attention+FFN 的结构，只不过 attention 部分使用 SSM 替换

high-frequency enhance block (HFEBlock)： HFE如下图所示，也是类似 attention + FFN 的结构，两个阶段都使用FMT融合高低频特征。不过作者认为Q对于结果的影响更大，融合特征时FMT应用于Q了。同时，在FMT模块内部，Q也是低频特征。FMT非常类似于 cross-attention，在计算相似性矩阵时，使用了一个 TOP-1 selection 的操作。

实验部分可以参考作者论文，这里不过多介绍。