1. BaseInfo
Title | EMCAD: Efficient Multi-scale Convolutional Attention Decoding for Medical Image Segmentation |
Adress | https://arxiv.org/pdf/2405.06880 |
Journal/Time | CVPR 2024 |
Author | The University of Texas at Austin Austin, Texas, USA |
Code | https://github.com/SLDGroup/EMCAD |
Table | Segmentation |
2. Creative Q&A
- 高效解码头 -> 通过多尺度卷积显著增强特征图。EMCAD还采用了通道、空间和分组(大核)门控注意力机制,这些机制在关注显著区域的同时,非常有效地捕获了复杂的空间关系。
- 多尺度卷积解码器:高效的多尺度卷积注意力模块、Large-kernel Grouped Attention Gate、
Efficient multi-scale convolutional attention decoding (EMCAD)
3. Concrete
3.1. Model
3.1.1. Input
图片 352 X 352
3.1.2. Backbone
tiny (PVTv2-B0) and standard (PVTv2-B2) networks of PVTv2
3.1.3. Neck
3.1.4. Decoder
EMCAD Decoder
-
Large-kernel grouped attention gate (LGAG): 在前 3 个特征图后都有。两个输入:门控信号 g 来自跳跃连接的特征和上采样特征图 x 。
-
Multi-scale convolutional attention module (MSCAM):分 3 个模块。
- Multi-scale Convolution Block (MSCB):有效的多尺度卷积块来增强我们级联扩展路径生成的特征。 含 MSDC 多尺度深度卷积
- Channel Attention Block (CAB):为每个通道分配不同级别的重要性,从而强调更相关的特征,同时抑制不太有用的特征。
- Spatial Attention Block (SAB):输入特定部分,增强该部分特征。
-
Efficient up-convolution block (EUCB):使用一个高效的上卷积块对当前阶段的特征图进行逐级上采样,以匹配下一次跳跃连接的特征图的维度和分辨率。深度卷积代替 3 x 3 卷积。
-
Segmentation head (SH):1 x 1 卷积。
仅使用了 p4 作为最终的分割图,使用Sigmoid函数进行二值分割,或者使用Sof tmax函数进行多类分割,得到最终的分割输出。
3.1.5. Loss
对于二值分割,使用组合的加权二值交叉熵( Binary CrossEntropy,BCE )和加权IoU损失函数。
3.2. Training
深度卷积的并行排列。
Name | Value |
---|---|
batch size | 16 |
Learning rate | 1e-4 |
optimizer | AdamW |
epochs | 200 |
保存 DICE 最好的模型。 | |
采用多尺度{ 0.75,1.0,1.25 }训练策略 |
3.2.1. Resource
单卡 NVIDIA RTX A6000 GPU with 48GB of memory. Pytorch 1.11.0
3.2.2 Dataset
医学数据集 6 个分割任务上的 12 个数据集。
3.3. Eval
3.4. Ablation
- 组件:解码器的级联结构比非级联结构有助于提高性能。当LGAG和MSCAM模块同时使用时,产生了最佳的DICE分数。
- 在 MSCAM 的 MSCB 中的 MSDC 多尺度卷积核 [1, 3, 5]
- 并行深度卷积比串行深度卷积效果更好。
- LGAG 比 AG 好
- 加入 ImageNet pretrained weights 实验效果上升明显。
- 输入分辨率越大效果越好。
4. Reference
损失函数借鉴 : [43] Md Mostafijur Rahman and Radu Marculescu. Multi-scale hierarchical vision transformer with cascaded attention decoding for medical image segmentation. In Med. Imaging Deep Learn., 2023. 1, 3, 5, 7
含附录的
包括实验细节,和其他消融实验。
5. Additional
是医学的分割头。
这个模型图画的是真清晰,不花里胡哨,但是,真的好清楚!!
实验充分。