FR-UNet论文解读

主要贡献

FR-UNet由交互式多分辨率卷积层组成，并不断学习全分辨率表征以减少空间信息的损失。

在每个卷积块之前将特征聚合模块嵌入 FR-UNet，以聚合上采样和下采样的特征图，从而有效提取多尺度的上下文信息。

改进血管连通性的双阈值迭代算法，从概率图中逐步提取弱血管像素。

模型结构

FR-UNet生成用于血管分割的精确预测概率图。双阈值迭代算法来判断概率图中的像素是否属于血管。

上采样和下采样的本质是由一个卷积块组成，该卷积块依次包含一个Conv层、一个BN层，以及带有负斜率 0.1 的 LeakyReLU 激活函数。

具体来说，下采样采用步长为 2 的 2×2 Conv)方式，通道数量减半，而空间尺寸加倍。而上采样的卷积层采用步长为 2 的 2×2 反卷积，特征图通道数加倍，同时将空间尺寸减半。

引入多分辨率卷积交互机制，以实现相邻阶段之间的信息交互。浅层阶段可以提供更精细的语义信息，深层阶段可以补充高层次的上下文信息，增加特征图的局部感受野。

每个阶段在并行扩展中聚合相邻位置的特征图，并学习分层表示。

特征聚合模块将上一个残差块的特征图以及相邻阶段的上采样和下采样合并在一起。

 down-sampling     up-sampling     [] 表示特征拼接操作

 是一个堆叠特征图节点，其中 i 和 j 分别表示网络的行和列

特征融合方法分为三种情况：

随后，应用一个1×1卷积、一个 3×3 卷积和一个带有膨胀率2的 3×3 空洞卷积。 

 

BN 层      卷积操作

最终特征图通过三种不同卷积模式的输出相加得到，并接着经过一个 BN层

修改后的残差块在每个 BN 层后添加了一个 20% 的 dropout 层，以减少过拟合，并用于表征学习。

第一阶段的卷积块生成概率图，每个输出通过一个 1×1 卷积得到，分别对应输出 I-VI（第一张图）。最终的预测概率结果是这些概率图的加权和

M是用于深度监督的输出数量

表示不同语义级别下的输出权重满足

二元交叉熵 (BCE) 被引入作为概率图的损失函数

y预测概率      真实标签      N批量大小

双阈值迭代

用于提高弱血管像素的分割效果

高阈值    低阈值

使用高阈值生成一个强分割图，其中满足的像素被设为 1，其他像素保留。遍历强分割图中的每个像素，检查其值是否位于高阈值和低阈值之间，并且其邻域内是否存在值为 1 的像素。如果满足这些条件，则该像素被设为 1。强分割图按照此方式不断迭代，直到迭代后没有任何变化。最后，所有剩余的非 1 像素都被设为 0，以获得最终的分割结果。

消融研究

Res-UNet 作为实验的Baseline，使用残差块取代 U-Net 的原始块，并利用 1 × 1 卷积后的 BN 层将跳过连接后的通道数减半，目的是在解码器中应用残差。

baseline+MRCI

Baseline+MRCI+FAM

Baseline+MRCI+DS

Baseline+MRCI+FAM+DS

模型剪枝

减少模型参数的数量

FR-UNet 是通过在初始编码器解码器网络外围反复嵌入卷积节点生成的。依次剪枝 FR-UNet 的最外层节点，得到剪枝程度不同的四个子网络 P1、P2、P3 和 P4。

两种方法评估模型在 DRIVE 数据集上的性能：1）即使用完整的 FR-UNet 模型训练网络参数，并由剪枝后的子网络提供相应的训练权重进行测试(TFTS)；2）在不与其他网络交互的情况下单独训练和测试子网络（TTS）。

无论 TFTS 还是 TTS，总体性能都接近完整 FR-UNet。与 TFTS 和 TTS 的每个剪枝子网络的结果相比，在 P2、P3 和 P4 中，TTS 的血管分割结果明显优于 TFTS 的相同子网络。此外，TTS 子网络之间的性能差距也较小。

阈值方法的比较

单阈值和双阈值迭代方法在相同概率图上的性能比较：DTI 保留了更多接近真实情况的细节，并未产生过度分割。

低阈值提取的细小血管像素比高阈值更多，但引入了更多的假阴性像素。在这方面，DTI有效缓解了这个问题。

血管连通性评估（VCA）

pre 和 gt 分别表示二值化的预测图和真实标注图

函数 L() 计算连通组件的数量

N 为测试集中血管图像的数量，在 DRIVE 数据集中为 20

VCA 的值越低，血管的连通性越好。

DTI 计算的 VCA 在所有网络中显著低于 ST（单阈值方法）。

论文来源

《Full-Resolution Network and Dual-Threshold Iteration for Retinal Vessel and Coronary Angiograph Segmentation》