Structure Boundary Preserving Segmentation for Medical Image with Ambiguous Boundary

具有模糊边界的医疗影像边界结构保护分割

论文标题

Structure Boundary Preserving Segmentation for Medical Image with Ambiguous Boundary

论文来源

[CVPR 2020] https://openaccess.thecvf.com/content_CVPR_2020/html/Lee_Structure_Boundary_Preserving_Segmentation_for_Medical_Image_With_Ambiguous_Boundary_CVPR_2020_paper.html

1 背景梳理

在医疗影像处理领域，想要获得准确的分割结果往往存在以下挑战：边界结构模糊、异质性纹理以及缺乏领域知识的分割区域不确定性，即使是专家也会由于经验技巧的差异从而给出不同的描述。随着深度学习的发展，越来越多的自动分割方法被提出，但是很少有方法将医疗影像的特点或难点比如边界结构模糊和异质性纹理显式地考虑进来。如下图所示，在面对边界模糊的医疗超声影像时，U-Net [1]并不能很好地实现边界细节的分割。因此本文着重从以下两个角度切入：

• 由于成像质量以及异质性纹理等因素，医疗图像往往边界结构模糊
• 在没有专家知识的情况很难自动预测出正确的目标区域

2 论文贡献

文章的方法设计上的贡献主要有：

• 提出了一种可用于拟合目标区域的边界关键点选择算法，随后通过 Boundary Preserving Block (BPB) 和 Boundary Point Map Generator (BPMG) 来编码选择好的关键点。
• 在不需要用户交互的情况下自动使用边界关键点信息。以对抗的方式使用 Shape Boundary-aware Evaluator (SBE) 训练网络，并将分割区域是否与关键点一致反馈给分割网络。
• 提出的方法可以泛化到不同的分割模型，并通过实验验证了有效性。

3 方法

网络整体的框架如下图所示，由分割网络、Boundary Preserving Block (BPB)、Shape Boundary-aware Evaluator (SBE) 组成。

Boundary Key Point Selection Algorithm:
首先对ground-truth segmentation map使用传统的边缘检测算法。在边界上随机选择$n$个点构成点集，其中$t$表示 iterations：
KaTeX parse error: Undefined control sequence: \bbox at position 1: \̲b̲b̲o̲x̲[white, 3px]{P_…
然后通过连接这$n$个点构造边界区域$S_n^t$。具体来说，我们希望关键点构造的区域可以和真实的目标区域尽可能重合，即：
KaTeX parse error: Undefined control sequence: \bbox at position 1: \̲b̲b̲o̲x̲[white, 3px]{\t…

Boundary Preserving Block (BPB):

如图所示，上面的部分使用类似残差注意力机制的方法生成边界结构信息保护的特征：
KaTeX parse error: Undefined control sequence: \bbox at position 1: \̲b̲b̲o̲x̲[white, 3px]{v^…
其中，$i$ 表示 $i$-th convolutional block, 下面的部分为 Boundary Point Map Generator（BPMG），
其中 $d_r^s(\cdot )$ 表示 dilation rate 为 r, filter size为$s\times s$的空洞卷积。则生成的边界关键点图$\widehat{M^i}$ 可以写作：
KaTeX parse error: Undefined control sequence: \bbox at position 1: \̲b̲b̲o̲x̲[white, 3px]{\h…
边界关键点图生成部分的损失函数为：
KaTeX parse error: Undefined control sequence: \bbox at position 1: \̲b̲b̲o̲x̲[white, 3px]{L_…

Shape Boundary-aware Evaluator (SBE):
Shape Boundary-aware Evaluator作用相当于一个判别网络，用于评估分割结果是否与边界关键点图一致。这部分的训练损失函数如下：
KaTeX parse error: Undefined control sequence: \bbox at position 1: \̲b̲b̲o̲x̲[white, 3px]{L_…

为了以对抗的方式训练，还使用了以下两个损失函数：
KaTeX parse error: Undefined control sequence: \bbox at position 1: \̲b̲b̲o̲x̲[white, 3px]{L_…
boundary aware loss:
KaTeX parse error: Undefined control sequence: \bbox at position 1: \̲b̲b̲o̲x̲[white, 3px]{L_…
total loss:
KaTeX parse error: Undefined control sequence: \bbox at position 1: \̲b̲b̲o̲x̲[white, 3px]{L_…

4 实验

在两个不同数据集上都表现出较好的提升。


从定性的角度来看，在边界部分的分割精度也确实有所改善。

5 总结

本文针对医疗影像分割中边界模糊的问题提出了一种新的框架。为了保护目标区域的边界结构，将结构边缘关键点embed进分割网络。通过边界关键点选择算法生成的关键点图来训练BPB和SBE，BPB使网络进一步利用目标区域的结构边界，以对抗的方式训练SBE来将专家知识嵌入分割网络。实验结果表明提出的框架可以方便地嵌入不同的分割网络，并带来普遍的性能提升。

6 参考文献

[1] Ronneberger, O., Fischer, P., & Brox, T. (2015, October). U-net: Convolutional networks for biomedical image segmentation. In International Conference on Medical image computing and computer-assisted intervention (pp. 234-241). Springer, Cham.