论文笔记：UCTransNet: Rethinking the Skip Connections in U-Net from a Channel-wisePerspective with Transf

1. 面向场景：Medical imaging，医学成像问题，医学图像分割
2. 本文主要解决的问题：how to sufficiently bridge the semantic gap be-tween the encoder and decoder through multi-scale channel-wise information fusion by effectively capturing the non-local semantic dependencies.
3.  主要针对改进的模型：U-Net
   1. 传统Unet：
      1. 工作原理：
         1. encoder负责捕捉low-level和high-level特征，decoder负责组装语义特征来得出最后的结果。
      2. 缺点：
         1. 经过实验发现，不是所有的skip connection都好用，甚至由于某些skip connection的存在，使得效果下降，其原因在于会混淆特征。
         2. U-Net在使用简单的skip connection的时候甚至在一些数据集上反而效果更差
         3. 无法解决multi-scale的特征的语义鸿沟进行有效建模
            1. 语义鸿沟的类别
               1. multi-scale的特征在encoder过程中的语义鸿沟
               2. encoder和decoder之间存在的语义鸿沟。
                  1. 对于语义鸿沟的分析：
                     1. 没有skip connection的U-Net甚至比原始U-Net效果要好
                     2. 不是所有的skip-connection都对最后的效果起到提升作用
                     3. 不同的数据集，skip connection的最佳组合是不同的，这取决于靶区的规模和外观。
            2. 解决办法：
               1. 用the nested dense skip pathways去代替原来的skip connections 比如U-Net++（b)
               2. 加强skip connection。在encoder阶段增加非线性变换。以平衡语义鸿沟。

                                                         

          4. ​​​​​ 本文主体结构

               1.主体思想：

                        在下面这张图中，我们可以看到这是一个U-Net的典型结构，不过在skip connection的部分，我们用CTrans的方式去代替。

                2. 如图所示，这里面分别提出了CCT（Channel-wise Cross Fusion Transformer for Encoder Feature Transformation ）和CCA（Channel-wise Cross Attention for Feature Fusion in Decoder）二者所在的具体位置已经在途中标出，值得注意的是，CCA的input是i-th level decoder的output Di 和i-th level CCT的output Oi。

                        CCT部分数学计算：

                        

                        

                        CCA部分数学计算：

                                

                           

                       5. 模型训练方面：

                                输入形状：Theinput resolution and patch size P are set as 224 ×224 and16 for all the three datasets

                                 数据增强：horizontal flipping, vertical flipping andrandom rotating

                                优化策略：Adam

                                评价指标：Dice系数，交并比

---

交并比（Intersection-over-Union，IoU），目标检测中使用的一个概念，是产生的候选框（candidate bound）与原标记框（ground truth bound）的交叠率，即它们的交集与并集的比值。

---