本文创新性提出了LMAM,还有MDC两个模块 旨在解决传统卷积神经网络（CNN）和基于Transformer方法在处理全局感受野和计算效率方面的局限性。通过将线性注意力（Linear Attention, LA）集成到Mamba结构中，ACL在保持计算效率的同时，增强了全局特征依赖性，并通过多尺度膨胀卷积模块（MDC）提升了局部细节的恢复能力。
Mamba固有的一维扫描限制，最近的方法引入了多方向扫描以增强序列间的相关性。尽管有这些增强，这些方法仍然难以管理不同方向的局部像素相关性。
LAMA是将SSM换为线性注意力，而GatedCNNBlock是直接去掉SSM。LAMA和MambaOut都从侧面说明了Mamba在一些任务上的效果不如卷积和注意力。
LA 线性注意力，把Mamba中的SSM给替换了，其的涉及参照了Transformer中的Q,K,V，但是计算公式不是用的softmax来计算的，而是 直接先与V相乘，复杂度就是O(N*d^2)，而d是个固定值，所以复杂度就是O（N），
# 线性注意力计算过程（论文公式11-13）
KV = Kᵀ·V # 特征维度先聚合
F_atten = Q·KV # 查询与聚合特征交互
F_atten = F_atten + Conv_pos(F₂) # 加入位置编码
扫一扫
1604
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
