使用稀疏约束水平集算法对MR图像中的脑肿瘤进行分割| 文献速递-深度学习肿瘤自动分割

Title

题目

Brain tumor segmentation in MR images using a sparse constrained level set algorithm

使用稀疏约束水平集算法对MR图像中的脑肿瘤进行分割"

01

文献速递介绍

脑磁共振（MR）成像是成像患者脑结构的主要方法，从MR图像中提取脑肿瘤组织的准确性对于随后的病理分析和临床治疗具有重要意义。在临床实践中，影像专家从MR图像中手动勾勒出肿瘤组织的轮廓。然而，手动分割费时费力，并且提取的准确性受到诸多因素的影响，如业务熟练程度和主观态度（Masood等，2015）。提高这一手动任务的效率需要计算机辅助诊断（CAD），这推动了医学诊断领域的转型。通过适当的医学成像技术，可以以更高效、更具成本效益的方式协助早期诊断疾病（Wani＆Arora，2020）。作为数字图像处理中最重要的方法之一，图像分割可用于从图像中提取有意义且有价值的信息（Chouhan等，2018）。这是医学图像分析中的基本预处理，这意味着专家可以使用CAD自动分割MR图像中的脑肿瘤。

然而，受到成像原理的限制，尤其是脑MR图像经常显示出不均匀的强度。正如图1所示，图像中脑肿瘤区域内可能有明亮或暗淡的体素，已在品红色中标出。这些体素可能导致结果中的空洞或轮廓的过度收缩。此外，人脑具有复杂的生理结构，在MR图像中，肿瘤与其相邻组织之间的边界通常显得模糊且重叠（Lim＆Mandava，2018）。此外，脑肿瘤在MR图像中的外观、大小和亮度显示出很大差异（Hu等，2019）。这些限制无疑增加了计算机辅助脑图像分割的难度（Wadhwa等，2019）。为解决这些问题，过去几年提出了许多分割算法。主动轮廓模型是一种经典的分割方法，可用于MR图像分割，其本质来自Kass M等人提出的蛇模型。他们在主动轮廓上定义了能量函数，并试图找到使能量函数最小化的最佳位置，同时主动轮廓发生变化（Kass，1988）。主动轮廓的概念提出后引起了广泛关注（Ammar等，2019；Chen＆Lai，2007）。然后，Cohen L D等人通过添加气球力约束优化了蛇模型（Cohen，1991）。此后，Osher等人提出了一种称为水平集方法的模型，通过在图像上定义高维函数来实现。他们绘制了轮廓线图，并将值为零的位置设置为对象的边界（Osher等，2004）。具有强大描述特征的水平集方法极大地简化了能量函数的解决方案，并在图像处理领域产生了深远影响。此后，提出了许多经典的水平集方法。然而，当这些方法应用于脑肿瘤分割时，存在一些限制：它们对通常手动选择的初始轮廓敏感，并且容易受到模糊的组织边界的影响。为解决这些问题，研究人员将其他方法添加到经典水平集方法中，如自动轮廓检测、先验知识约束。这些方法称为混合水平集方法。本文提出了一种混合水平集方法，可以自动选择初始轮廓，并添加先验形状约束以提高分割准确性。

本文提出了一种方法，通过研究脑肿瘤MR图像中脑肿瘤形状的共同特征，然后构建了稀疏表示模型。通过将该模型视为先验约束，可以构建基于水平集方法的能量函数。我们通过迭代优化函数并演变轮廓，利用高级稀疏约束与底层能量函数之间的关系。该算法结合了水平集方法和稀疏表示方法在拓扑描述和复杂形状表达方面的优势。此外，该方法削弱了肿瘤图像中明亮或暗淡的体素对分割结果的影响。

Abstract

摘要

Brain tumor segmentation using Magnetic Resonance (MR) Imaging technology plays a significant role incomputer-aided brain tumor diagnosis. However, when applying classic segmentation methods, limitationssuch as inhomogeneous intensity, complex physiological structure and blurred tissues boundaries in brainMR images usually lead to unsatisfactory results. To address these issues, this paper proposes an automaticsparse constrained level set method to realize the brain tumor segmentation in MR images. By studying braintumor images, this method finds out common characteristics of brain tumors’ shape and constructs a sparserepresentation model. By considering this model as a prior constraint, an energy function based on level setmethod is constructed. In experiments, the proposed method can achieve an average accuracy of 96.20% forthe MR images from the dataset Brats2017 and performs better than the others. With lower false positive rateand stronger robustness, the experimental results show that the proposed method can segment brain tumorfrom MR image accurately and stably.

磁共振成像技术在脑肿瘤分割中扮演着重要角色，有助于计算机辅助脑肿瘤诊断。然而，应用传统分割方法时，脑MR图像中不均匀的强度、复杂的生理结构以及模糊的组织边界通常会导致不理想的结果。为解决这些问题，本文提出了一种自动稀疏约束水平集方法来实现脑MR图像中的脑肿瘤分割。通过研究脑肿瘤图像，该方法发现了脑肿瘤形状的共同特征，并构建了稀疏表示模型。通过将该模型视为先验约束，构建了基于水平集方法的能量函数。在实验中，所提出的方法在Brats2017数据集中的MR图像上实现了平均准确率达到96.20%，表现优于其他方法。实验结果显示，该方法具有更低的假阳性率和更强的鲁棒性，能够准确稳定地从MR图像中分割脑肿瘤。

Method

方法

In this section, the detail of our proposed method is introduced,followed by the optimization process of the energy function. Fig. 2illustrates the flowchart of our proposed method. Firstly, we extractand construct a sparse shape model form labeled brain tumor MRimages as the shape prior contraction, which participates in the energyevolution process of the energy function. Then, we input a brain MRimage and finish registration. To find an initial contour, we use fastbounding box (FBB) algorithm (Saha et al., 2012), which is based on thestructural symmetry of human brain, to obtain the initial rectangularcontour region of the brain tumor. Then, we use the region centroidas the seed of the region growing method, and eventually generatethe initial value of the energy function. After that, we complete theparameter initialization and start the iteration. Finally, we output thesegmentation result.

在本节中，介绍了我们提出的方法的细节，随后介绍了能量函数的优化过程。图2展示了我们提出方法的流程图。首先，我们从标记的脑肿瘤MR图像中提取并构建稀疏形状模型作为形状先验约束，该约束参与能量函数的能量演化过程。然后，我们输入一张脑MR图像并完成配准。为了找到初始轮廓，我们使用基于人脑结构对称性的快速边界框（FBB）算法（Saha等，2012），获得脑肿瘤的初始矩形轮廓区域。然后，我们使用区域质心作为区域生长方法的种子，并最终生成能量函数的初始值。之后，我们完成参数初始化并开始迭代。最后，我们输出分割结果。

Conclusion

结论

In this paper, a variational level set model integrated with sparseshape constraints has been proposed to segment brain tumor tissue frombrain MR images. This method has been validated on datasets providedby the MICCAI BraTS2015 challenge and the BraTS2017 challenge. Theexperimental results demonstrate that the proposed method has strongrobustness and can accurately segment brain tumors. Compared withsome other methods, the proposed method combines the advantagesof the level set method in topological structure description and thesparse expression method in complex shape expression. In addition, inthe process of verifying the influence of the sparse shape constraint’sweight coefficient on final segmentation results, the optimal weightcoefficient range is obtained. Experimental results show that the resultsof the proposed method are superior to the other methods and it hasgood robustness in tumor segmentation of complex brain MR images.Although the proposed method performed well in experiments, itstill has some problems. We used a fixed dictionary to realize coefficientmodeling, which makes it difficult to apply the model learned fromone dataset to other datasets. In addition, the proposed method focuseson the segmentation of 2D brain MR images. While in clinical, doctorsusually obtain 3D brain MR images, so the data utilization rate of theproposed method needs to be improved. Therefore, there are severalpoints that we want to explore in the further research. Firstly, wewant to study the brain tumor segmentation of 3D multimodal MRimages to make better use of the information provided by datasets.We want to establish the association and biological characteristicsassociation between different modes and between adjacent MR slices. Inthat case, we can make better use of the different models of informationobtained by MR scans. Secondly, to realize 3D multimodal brain tumorsegmentation, we need to process more image data. Therefore, weplan to integrate deep learning method with our method to take itsadvantages in massive data processing and achieve better segmentationresults.

在本文中，提出了一种集成稀疏形状约束的变分水平集模型，用于从脑MR图像中分割脑肿瘤组织。该方法已在MICCAI BraTS2015挑战和BraTS2017挑战提供的数据集上进行了验证。实验结果表明，所提出的方法具有很强的鲁棒性，能够准确地分割脑肿瘤。与一些其他方法相比，所提出的方法结合了水平集方法在拓扑结构描述中的优势和稀疏表示方法在复杂形状表达中的优势。此外，在验证稀疏形状约束的权重系数对最终分割结果的影响过程中，获得了最佳权重系数范围。实验结果表明，所提出的方法的结果优于其他方法，并且在复杂脑MR图像的肿瘤分割中具有良好的鲁棒性。

尽管所提出的方法在实验中表现良好，但仍存在一些问题。我们使用固定的字典来实现系数建模，这使得将从一个数据集学习到的模型应用于其他数据集变得困难。此外，所提出的方法侧重于对2D脑MR图像的分割。而在临床上，医生通常获得3D脑MR图像，因此所提出方法的数据利用率需要改进。因此，在进一步的研究中，我们有几个要探索的方向。首先，我们希望研究3D多模式脑MR图像的脑肿瘤分割，以更好地利用数据集提供的信息。我们想建立不同模式之间和相邻MR切片之间的关联和生物特性关联。在这种情况下，我们可以更好地利用MR扫描获得的不同模式信息。其次，为了实现3D多模式脑肿瘤分割，我们需要处理更多的图像数据。因此，我们计划将深度学习方法与我们的方法结合起来，利用其在大规模数据处理方面的优势，实现更好的分割结果。

Figure

图

Fig. 1. A magnetic resonance (MR) scan of a brain tumor patient’s brain, where the red curve represents the outline of the tumor region.

图1：一位脑肿瘤患者脑部的磁共振（MR）扫描图像，红色曲线表示肿瘤区域的轮廓。

Fig. 2. The flowchart of the proposed method

图2：所提出方法的流程图

Fig. 3. Use of the reference image to align the sample data in the shape library: (a) Original images are the exact brain tumor regions from the datasets. (b) The reference image is manually and randomly selected; it has a relatively neat shape and relatively centered position. (c) Aligned images are the images which go through the image registration.

图3：使用参考图像对形状库中的样本数据进行对齐：（a）原始图像是来自数据集的精确脑肿瘤区域。（b）参考图像是手动随机选择的；它具有相对整洁的形状和相对居中的位置。（c）对齐图像是经过图像配准的图像。

Fig. 4. Brain division schematic; the curves represent the boundaries of brain regions

图4：脑部划分示意图；曲线代表脑部区域的边界

Fig. 5. The architecture of the multi-feature inference block (MFIB) for feature fusion. (a) The whole architecture of the 𝑖th MFIB. (b) The specific structure of graph convolution.

图5. 用于特征融合的多特征推理块（MFIB）的架构。(a) 第i个MFIB的整体架构。(b) 图卷积的具体结构。

Fig. 6. Segmentation results which has been partially enlarged. (a) shows the original image before segmentation, from (b) to (f) corresponds to the proposed algorithm, Joshiet al. Zabir et al. Kermi et al. and Mojtabavi et al. The red contour lines denote the ground truth and the blue contour lines show the segmentation results of the correspondingalgorithm.

图6：部分放大的分割结果。（a）显示了分割前的原始图像，从（b）到（f）对应于所提出的算法，Joshiet al. Zabir等。Kermi等。和Mojtabavi等。红色轮廓线表示基本事实，蓝色轮廓线显示了相应算法的分割结果。

Fig. 7. The comparison of the evaluation metric distribution. (a), (b) and (c) show the distribution of DSC, SEN and PPV indices in the experimental results of the previousalgorithms, respectively.

图7：评价指标分布的比较。（a）、（b）和（c）分别显示了先前算法实验结果中DSC、SEN和PPV指数的分布。

Fig. 8. While vary the parameter 𝑤3 in (13) and fix the other parameters, the DSCvalue of our proposed method will vary accordingly. And when 𝑤3 value is in a certainrange, the DSC value performs well.

图8：当改变式（13）中的参数𝑤3并固定其他参数时，我们提出的方法的DSC值将相应变化。当𝑤3值处于某一范围时，DSC值表现良好。

Table

表

Table 1Segmentation performance of the proposed algorithm and other algorithms. Evaluationmetrics: DSC: Dice Similarity Coefficient; SEN: Sensitivity; PPV: Predictive PositivityValue.

表1所提算法和其他算法的分割性能。评价指标：DSC：Dice相似系数；SEN：灵敏度；PPV：预测阳性值。

Table 2Segmentation performance between the proposed algorithm and the algorithm withoutshape constraint.

表2所提算法与无形状约束算法之间的分割性能。