- 面向场景:Medical imaging,医学成像问题,医学图像分割
- 本文主要解决的问题:how to sufficiently bridge the semantic gap be-tween the encoder and decoder through multi-scale channel-wise information fusion by effectively capturing the non-local semantic dependencies.
- 主要针对改进的模型:U-Net
- 传统Unet:
- 工作原理:
- encoder负责捕捉low-level和high-level特征,decoder负责组装语义特征来得出最后的结果。
- 缺点:
- 经过实验发现,不是所有的skip connection都好用,甚至由于某些skip connection的存在,使得效果下降,其原因在于会混淆特征。
- U-Net在使用简单的skip connection的时候甚至在一些数据集上反而效果更差
- 无法解决multi-scale的特征的语义鸿沟进行有效建模
- 语义鸿沟的类别
- multi-scale的特征在encoder过程中的语义鸿沟
- encoder和decoder之间存在的语义鸿沟。
- 对于语义鸿沟的分析:
- 没有skip connection的U-Net甚至比原始U-Net效果要好
- 不是所有的skip-connection都对最后的效果起到提升作用
- 不同的数据集,skip connection的最佳组合是不同的,这取决于靶区的规模和外观。
- 对于语义鸿沟的分析:
- 解决办法:
- 用the nested dense skip pathways去代替原来的skip connections 比如U-Net++(b)
- 加强skip connection。在encoder阶段增加非线性变换。以平衡语义鸿沟。
- 语义鸿沟的类别
- 工作原理:
- 传统Unet:
4. 本文主体结构
1.主体思想:
在下面这张图中,我们可以看到这是一个U-Net的典型结构,不过在skip connection的部分,我们用CTrans的方式去代替。
2. 如图所示,这里面分别提出了CCT(Channel-wise Cross Fusion Transformer for Encoder Feature Transformation )和CCA(Channel-wise Cross Attention for Feature Fusion in Decoder)二者所在的具体位置已经在途中标出,值得注意的是,CCA的input是i-th level decoder的output Di 和i-th level CCT的output Oi。
CCT部分数学计算:
CCA部分数学计算:
5. 模型训练方面:
输入形状:Theinput resolution and patch size P are set as 224 ×224 and16 for all the three datasets
数据增强:horizontal flipping, vertical flipping andrandom rotating
优化策略:Adam
评价指标:Dice系数,交并比
交并比(Intersection-over-Union,IoU),目标检测中使用的一个概念,是产生的候选框(candidate bound)与原标记框(ground truth bound)的交叠率,即它们的交集与并集的比值。