63——Joint Segment-level and Pixel-wise Losses for DeepLearning based Retinal V essel Segmentation

Yan Z, Yang X, Cheng K T. Joint segment-level and pixel-wise losses for deep learning based retinal vessel segmentation[J]. IEEE Transactions on Biomedical Engineering, 2018, 65(9): 1912-1923.

基于深度学习的视网膜血管分割方法通常基于像素级损失进行训练，在预测概率图和相应的人工标注分割之间的像素-像素匹配中，对所有血管像素进行同等重要的处理。然而，眼底图像中粗血管和细血管像素比高度不平衡，像素级的损失会限制深度学习模型学习特征以准确分割细血管，这是临床眼科疾病诊断的重要任务。方法:在本文中，我们提出了一种新的节段级损失，它更强调薄血管在训练过程中的厚度一致性。通过同时采用分段级和像素级损失，可以更加平衡厚容器和薄容器在损失计算中的重要性。因此，在不增加整体模型复杂度的情况下，可以学习到更有效的特征用于血管分割。

由于眼底图像中粗血管和细血管的比例高度不平衡，像素级的损失不可避免地会引导深度学习模型更强调最小化粗血管的厚度不一致，而不是细血管的厚度不一致。为了对粗血管和细血管进行精确分割，一种方法是设计更深层次的架构来学习细血管的鉴别特征，但这将导致更高的模型复杂度。在本文中，我们提出了一种分段级损失的训练过程，用于测量每个血管段的厚度不一致性，并为不同的像素分配相应的权重。与像素级的损失相比，片段级的损失会对薄容器的不对齐造成更大的损失。因此，将分割级损失和像素级损失相结合，可以使深度学习模型更有效地学习特征，用于视网膜血管分割。

在本节中，我们详细描述了分段级损失和联合损失深度学习框架的设计。在训练阶段，采用分段级损失和像素级损失作为惩罚细血管和厚血管厚度不一致的两个分支。在测试阶段，两个分支生成的概率图被合并在一起以进行最终的分割。

分段级损失Segment-level Loss

损失构建:我们建议测量每个血管段的厚度不一致性，而不是每个血管像素。第一步是基于骨架化的方法将血管树分割成血管段;给定一个手动注释I，我们首先应用一个骨架化方法[35]来获得骨架IS。然后通过检测相交像素点(即不同骨架相交的像素点)，将整个骨架IS划分为段。

联合损失深度学习框架Joint-loss Deep Learning Framework

我们参照U-Net[37]模型设计了基本模型，但增加了两个独立的分支，同时使用分段级损失和像素级损失训练模型，如图2所示。在训练阶段，两个分支的核分别使用分段级损失和像素级损失进行训练，并将损失合并在一起训练共享学习架构(UNet部分)，以学习更好的特征。如前所述，分段级的损失更多地惩罚薄血管的厚度不一致，而像素级的损失主要集中在厚血管的厚度不一致上。因此，同时使用分段级损失和像素级损失能够最大限度地减少训练过程中的整体厚度不一致性。在测试阶段，由于片段级损失和像素级损失从不同的角度训练模型，我们通过像素级乘法合并两个分支预测的相应概率图，以生成最终的血管分割。由于分段级损失独立于深度学习架构，联合损失框架中的基本模型可以被任何其他模型替代。