【论文】Improving retinal vessel segmentation with joint local loss by matting

论文题目：Improving retinal vessel segmentation with joint local loss by matting

结合抠图技术提高视网膜血管分割精度。

目录

1  Introduction

2  Our approach

2.1 Matting network

2.2 Image matting

2.3 Loss function

3  Empirical experiments

3.1 Segmentation performance evaluation on small vessels vs. big vessels

3.2 Segmentation performance evaluation on different loss terms

4  Conclusion

---

 

---

1  Introduction

• It is still a challenging problem to extract small vessels which are usually thin and blurry, thus difficult to be separated from the textural background.
• This study proposes a matting-based approach as a post-processing step to improve existing methods by formulating segmentation as a matting problem.

Results of DRIU[1]	Ground truth

[1] K.-K. Maninis, J. Pont-Tuset, P. Arbeláez, L. Van Gool, Deep retinal image understanding, in: International Conference on Medical Image Computing and Computer-Assisted Intervention, Springer, 2016, pp. 140–148.

目前，针对视网膜血管图像分割的研究有很多。如上图所示，以16年提出的DRIU算法为例，整体分割效果较好，但是对于细小血管、模糊血管边缘这种模糊结构的分割效果不尽如人意。

一个主要原因如下：如下图所示，这样的血管分割方法通常来说会有一个中间结果Score map（如下方的图c），它的每个像素都有一个0到1之间的非负值，用来表示它属于血管区域的可能性。对于map中每个像素来说，它的值超过某个阈值γh时，认为他属于foreground，即绝对血管区域（下图中的红色部分）；值小于某个阈值γl的时候，认为他属于background，即绝对背景区域（下图中的绿色部分）；对于这两个阈值中间的区域，较难判定它属于血管还是背景，而这种区域内就包含了细小血管、血管边缘，把他称作未知区域unknown（下图中的蓝色部分）。对于未知区域中的像素来说，很难确定合适的阈值，能够既保留细小血管区域、又排除背景干扰。因此，直接由这个map得到血管结构的二值图就很容易丢失细小血管、模糊血管边缘等数据。

所以，针对细小血管、模糊血管边缘这种模糊结构的分割问题，这篇论文展开研究，在现有血管图像分割方法的基础上，提出一种基于抠图技术的图像分割后处理法，针对性地处理未知区域，来提高现有方法的分割性能。

2  Our approach

下面，来介绍这篇论文所提出的模型，流程图如上图所示。

1. 首先，使用现有的视网膜血管分割方法来处理原图，得到相应的score map，每个像素的值在0到1之间，表示它属于血管区域的可能性；
2. 然后，通过两个高低阈值对score map进行分割，将未知区域unknown与绝对背景background、绝对前景foreground分开来，得到相应的trimap。这个过程就是将[0,1]连续值采样量化为三个离散值{0,0.5,1}，0表示绝对背景、1表示绝对血管前景、0.5表示包含细小血管、模糊边缘的未知区域；
3. 接着是整个模型的重点，将视网膜血管原图和trimap作为matting network抠图网络的输入，通过这个训练好的网络来重点处理trimap中的未知区域，提取其中的细小血管等模糊像素，得到包含细小血管、血管边缘的血管前景map；
4. 最后使用一个全局阈值 τ 处理这个蒙版，得到最后的血管分割结果。 

2.1 Matting network

Matting network使用的是u-net网络结构，提出一种结合抠图原理的损失函数来训练网络，使u-net网络能够提取未知区域中的细小血管等模糊像素。

关于u-net神经网络的内容请见在下的另一篇笔记：【论文】U-Net: Convolutional Networks for Biomedical Image Segmentation

而为啥要用抠图技术呢？怎么构造相应的损失函数呢？见2.2和2.3节。

2.2 Image matting

抠图技术的核心问题是求解以下公式中的m，其中x为当前颜色、f是前景像素、b是背景像素，m是不透明度。通俗一点说，这个不透明度m可以理解为权重，将前景和背景按照这个权重线性组合，遍得到当前颜色。

如果输入只有x（原图），没有办法求解m、f、b三个未知量，所以通常利用一幅指定的trimap作为约束条件，来求解m。Trimap只包含了三个元素：绝对背景（黑色、0）、绝对前景（白色、1）、未知区域（灰色、0.5）。 有了这些已知条件（下图中的蓝色箭头），就可以求解出原图所有像素的不透明度m，得到相应的matte（下图中的红色剪头）。对于matte来说，绝对前景的不透明度m=1，绝对背景的不透明度m=0，未知区域的不透明度m∈[0,1]；然后利用这个matte，就可以将前景从原图中分割出来。

这样的数学原理使得优秀的抠图算法有能力将前景中非常细小的毛发细节都提取出来，比如这个示例图，matte中杂乱的头发的细节都很清晰，这点是传统图像分割技术做不到的，这样的细节处理能力正是细小血管和模糊边界的分割所需要的。

因此，将这样的抠图算法运用到视网膜细小血管的分割上，可以有较好的分割效果。示例如下：视网膜原图作为input输入，对某种视网膜血管分割方法的中间结果score map进行双阈值分割，得到trimap，由这个公式求解出未知区域的不透明度，从而提取出未知区域中的细小血管、模糊边界。

2.3 Loss function

有了上述铺垫，下面介绍网络的损失函数，这也是整个模型的重点。 损失函数由两部分组成——全局损失和局部损失。

全局损失函数为groundtruth与matte的像素差的平方和。因为大血管像素集构成了前景的大部分，主导了最终的损失函数值；并且它可能会忽略由于错误地分割小血管而引起的错误，这些错误通常是微弱的信号，很难与背景区分开，所以他有助于图像血管的整体分割，但对细小血管的分割作用不大。

局部损失函数部分，它计算的是trimap中t==0.5的区域，也就是包含细小血管、模糊血管边缘的未知区域。结合了抠图的数学原理，将未知区域中，matte、图像前景真值f、图像背景真值b线性组合，得到当前颜色，再计算它和视网膜图像原图x每个像素的差的平方和。因为t==0.5这样的未知区域中包含了我们所要的大部分细节信息，主导了损失函数的值，所以它有助于细小血管的细节分割。

最后，使用一个平衡常数整合这两部分损失函数，使他们两者互补，得到最终的损失函数

3  Empirical experiments

接下来进行性能评估实验。

3.1 Segmentation performance evaluation on small vessels vs. big vessels

首先评估模型在小血管与大血管上的分割性能。 实验使用了三种分割算法作为baseline（有监督型Kernel Boost、DRIU，无监督型MSLD），在其基础上使用这篇文章的模型ours，用四个经典的评价指标对比baseline&Ours在分割大小血管上的性能差异。

对比评价指标计算结果，可以看出，这篇文章的模型对大血管的分割性能有一定的提高，但不明显；而在小血管这样的模糊结构的分割上，性能提高是显著的，然而它的改善是有限的，f1得分最好也不超过60，召回率也只是在60上下。

（F1-score：精确率和召回率的调和平均数）

（Precision精确率：计算我们预测出来的某类样本中，有多少是被正确预测的。针对预测样本而言）

（Recall召回率：针对原先实际样本而言，有多少样本被正确的预测出来了）

 下图是相应的分割结果图。 对比中间两列分割图，可以直观地看出，与baseline相比，这篇文章的模型ours沿边界保留了更多的细节，小血管的数量更多、结构更完整清晰了

3.2 Segmentation performance evaluation on different loss terms

接下来一个实验是：评估使用不同的损失函数来训练网络对分割性能的影响。

比较下图表格中的数据，可以看出：只使用了local matting loss的网络虽然有了最高的召回率，但准确率是很低的；只使用了global pixel loss的网络的性能变化不大；而结合了这两个损失函数的网络有最高的F1-score，Recall和Precision都同步提高。

通过这样的Ablation test，表明local matting loss能有效提高细小血管的分割性能，并与global pixel loss互补，整体上提高了分割性能。

4  Conclusion

• The segmentation problem is transformed into a matting task.
• A new loss function is proposed in vessel segmentation, in which the global pixel loss and local matting loss are combined to handle the ambiguous pixels that often reside around the boundary of small vessels.
• As a post-processing step，it is capable of improving the vessel segmentation performance of a wide range of existing methods, being either supervised or unsupervised.

最后，总结这篇论文的研究工作，重点如下：

• 针对视网膜细小血管和模糊血管边界的分割问题，以细小血管所在的未知区域作为切入点，利用抠图技术较强的细节处理能力，将图像分割问题转换为抠图问题。
• 结合抠图原理，提出一种新的损失函数训练u-net网络，考虑全局损失和局部损失来优化分割结果。
• 作为后处理步骤，一定程度上改善了现有方法在细小血管上的分割性能，未来仍有很大改进空间。

---

以上。

纪念讨论班的第一篇论文，三进宫的经历毕生难忘，是本菜鸡在学术之路上碰上的第一个bug，嘤嘤嘤。