Edge U-Net: Brain tumor segmentation using MRI based on deep U-Netmodel with boundary information

摘要

脑中的血凝块通常由脑肿瘤引起。早期发现这些凝块有可能显着降低脑癌病例的发病率和死亡率。因此，准确分割肿瘤组织的磁共振图像（MRI）是必不可少的适当的脑肿瘤的诊断和治疗。已经提出了几种用于脑肿瘤MRI分割的深度学习方法，每种方法都被设计为正确地绘制“边界”，从而实现高度准确的分割。本研究介绍了一种深度卷积神经网络（DCNN），称为Edge U-Net模型，它是受U-Net架构启发而构建的编码器解码器结构。Edge U-Net模型可以通过将边界相关的MRI数据与来自大脑MRI的主要数据合并来更精确地定位肿瘤。在解码器阶段，将来自不同尺度的原始MRI的边界相关信息与适当的相邻上下文信息集成。为了提高分割效果，在分割模型中加入了一种新的损失函数。该损失函数通过边界信息得到增强，允许学习过程产生更精确的结果。在所进行的实验中，使用了具有三种已知脑肿瘤类型的3064个T1加权对比度增强（T1-CE）图像的公共数据集。实验表明，与最先进的模型相比，所提出的框架实现了令人满意的Dice评分值，具有高度准确的脑组织分化。Dice评分脑膜瘤为88.8%，胶质瘤为91.76%，垂体瘤为87.28%。还计算了其他性能指标，如Jaccard指数、灵敏度和特异性。根据结果，Edge U-Net模型是一种潜在的诊断工具，可用于帮助放射科医生更精确地分割脑肿瘤组织图像。

介绍

脑肿瘤被定义为从异常细胞逐渐生长的大量组织。无论它们是否是恶性的，脑肿瘤都可以通过它们在刚性颅骨内产生的额外压力来伤害附近的脑组织。因此，脑肿瘤的早期检测对于及时有效的治疗至关重要。人脑可能受到多种类型肿瘤的折磨，包括神经胶质瘤、脑膜瘤和垂体瘤。
计算机辅助诊断（CAD）技术被创建并投入使用，以帮助神经肿瘤学家快速准确地识别脑肿瘤。MRI代表了一种非常宝贵的方法，可以提供人体组织和器官的详细图像。MRI仍然是定位脑肿瘤并确定其尺寸的最准确方法。准确分析来自MRI的多维数据可以帮助定位和监测疾病进展并指导治疗。
机器学习已被用于医疗保健背景下的疾病检测、预测、分类和图像分割。乳腺癌的分割和分类，脑肿瘤，以及肺癌和结肠癌等肿瘤已经收到了最近相关研究的大部分。
在目前的临床实践中，大多数脑肿瘤图像分析是手动进行的。这既耗时又容易出现人为错误，特别是如果不是由疾病专家执行的话。MRI中健康和病理脑组织的分割，包括子区域确定，对于分析脑肿瘤和选择治疗计划以及进行非肿瘤性癌症研究至关重要。脑肿瘤MRI的分割对于更好的肿瘤诊断和治疗是非常重要的，如（Menze et al.，2014年）。

相关工作

近年来，脑肿瘤分割研究领域发展迅速，提出了大量使用各种数据集的分割方法。最近开发的分割模型有三种类型：基于聚类的分割，监督机器学习分割和深度学习分割。
基于聚类的分割方法通过将MRI划分为几个不相交的组并在每个图像内识别感兴趣区域（ROI）来工作。在每个区域内具有高相似性水平的像素被这样分类，而不同的像素被这样分类。K-means聚类是一种基于无监督机器学习的算法，通常用于从其他图像元素中提取ROI。它已被研究为脑肿瘤分割的方法，尽管只需要最少的计算时间和功率，但具有可接受的准确性。K-means被认为最适合大型数据集。其缺点包括肿瘤区域的描绘不足和对离群值的敏感性。为了解决这些漏洞，创建了一种更先进的自适应K-means算法。使用模糊C均值算法，可能属于多个类的事物根据它们对每个类的“归属”程度（FCM）进行聚类。因此，像素可以占据多个集群。在无噪声图像分割方面，FCM优于K-means等硬聚类方法。FCM在脑肿瘤中的疗效降低，其中分割MRI易受“未知噪声”的影响。Sheela & Suganthi，2019年提出了一种方法来克服FCM的缺点。对于自动学习，研究人员除了FCM优化之外还使用了贪婪蛇算法。
T1加权聚类用于使用主成分分析（PCA）算法分割脑MRI中捕获的肿瘤组织。在（卡亚，Pehlivanlovan，Sekizkardes Eugene和Ibrikci，2017）中，对每个脑图像的肿瘤部分和剩余部分进行了比较。无法明确识别预测的肿瘤部分。聚类可能导致肿瘤大小检测不准确，可能导致治疗不正确，发病率和死亡率增加。
脑肿瘤MRI分割的其他模型已经基于监督机器学习，其中分割问题被转换为肿瘤像素分类问题，其中图像提取的特征用作模型的输入，并且期望的分割类别用作输出。有监督的机器学习算法已被纳入一些脑肿瘤图像的分割过程中。在（Ma，Luo，& Wang，2018）的研究中，自动分割涉及随机森林算法和活动轮廓模型的组合。支持向量机也用于Ayachi和Ben Amor的研究中（2009年）。在该研究模型中，两种方法的组合采用Gabor小波变换（IGWT）作为特征提取器和K均值聚类的目的。最后，为了将脑组织最准确地分类为肿瘤和非肿瘤，然后运行多核支持向量机（MKSVM）算法。
在深度学习方法中，MRI通常经历许多深度学习构建块，并且提取的特征确定如何分割MRI。在脑肿瘤的分割中，已经使用了各种深度学习模型。DCNN已经用3 × 3滤波器增强，以实现自动脑肿瘤分割。为了在减少处理时间的同时改善分割，添加了具有优化损失函数的增强型卷积神经网络（ECNN）模型。对于二进制分割，开发了BAT算法（Thaha等人，2019年）。为了解决肿瘤标记不平衡的问题，创建了具有双通路架构的多层CNN模型。对于每个体素，分割任务被视为多分类任务（Havaei等人，2017年）。另一个混合CNN模型是用基于补丁的方法创建的。为了解决数据不平衡的问题，对模型进行了编程，以考虑到背景数据和当地数据。这涉及到使用两个阶段的培训程序（Sajid，Hussain，&萨尔瓦尔，2019）。与以前的模型相比，多尺度CNN（Díaz-Pernas et al.，2021）模型设计了三条路径，以捕获三个空间尺度的特征。开发了全卷积网络（FCN）来生成整个图像的标签图，克服了以前方法的计算成本和补丁大小选择的两个限制。（Ronneberger，Fischer，& Brox，2015）提出了一个受（Long et al.，2015），它是使用对称全卷积网络构建的。该模型实现了高精度，特别是在应用于医学图像时。后来引入了基于顺序U网的3D神经胶质瘤分割方法，具有基于堆叠U-Net架构的全自动脑肿瘤分割网络。另一个基于U-Net的模型是具有引导解码器的注意力Res-UNet，其中学习过程针对每个解码器块进行优化。每个解码器块也被设计为使用其自己的损失函数。

我们做了什么

以下部分详细介绍了我们提出的MRI脑肿瘤分割框架。表1总结了先前的脑肿瘤分割模型。
方法都很好，但是有局限，我咋解决的
尽管许多基于深度神经网络的模型已经取得了成功，但仍然存在许多挑战和局限性，包括由于所使用的成像协议导致的脑肿瘤组织的强度变化，图像的模态以及MRI系统中固有的随机噪声（Prima，Ayache，Barrick和Roberts，2001），这可能导致模糊的组织纹理和肿瘤组织的模糊边界。此外，多个类别或组织可以共存于大脑图像的单个像素内，这种现象称为MRI中的部分体积效应。脑肿瘤的粗糙边界被脑肿瘤分割模型视为另一种类型的问题。除此之外，脑肿瘤在大脑中的位置，大小和形状也各不相同（Wang & Chung，2022）。
我们开发了一个新的自动脑肿瘤分割框架来解决其中的一些问题。在这个框架中操纵脑MRI以减少成像过程中的背景噪声。U-Net架构（Ronneberger等人，2015）启发了一种新型编码器-解码器CNN模型的开发。为了实现更准确的肿瘤组织分割，该编码器-解码器模型考虑了脑MRI边界，并由边缘引导块（EGB）模块引导。最后，有效的损失函数有助于同时处理肿瘤边界和肿瘤组织。该模型针对由Cheng等人创建的公共脑肿瘤分割数据集进行测试（Cheng等人，2015），其中包含三种不同类型脑肿瘤（脑膜瘤、神经胶质瘤和垂体瘤）的MRI。所提出的框架被证明优于最先进的脑肿瘤分割模型。
为了解决上述研究问题并改进先前分割模型的性能，这项工作试图通过以下贡献引入精确的分割框架：
开发基于U-Net结构的脑肿瘤MRI深边缘分割学习模型，重点关注MRI边界。结果表明，该框架的性能能够超越当前最先进的模型。·建议使用对比度受限自适应直方图等重化（CLAHE），以增强MRI对比度并实现更好的脑肿瘤分割。·设计将原始MRI边界特征与其他MRI特征融合的EGB模块。我们的框架的结果表明，EGB提供了更多的边界信息，提高了检测肿瘤位置和形状识别的能力。·为我们的边缘深度学习模型开发了一个新的损失函数，其中我们将像素损失和边界损失结合起来，从而可以更好地识别边界，从而获得更好的像素值，从而获得更好的整体性能。

方法

本节将深入介绍拟议的细分框架。由于U-Net模型在医学图像分割中取得了很大的成功，我们在此基础上设计了一个边缘U-Net模型，该模型使用MRI和MRI边界作为输入。此外，我们还使用EGB增强了U-Net模型中相对块之间的跳过连接，以提高框架在解码器阶段处理MRI边界的能力。此外，开发了一种新的损失函数
3.1.拟议框架的结构
图2描绘了所提出的分割框架。如图2所示，所提出的框架有三个主要阶段：预处理，边缘U-Net分割模型和后处理。在以下小节中，我们讨论了MRI数据集上使用的预处理技术以及使用的增强方法。
3.3. Proposed Edge U-Net network architecture-3.3.建议的Edge U-Net网络架构
放射科医生定位脑肿瘤最可靠的方法是磁共振成像。这项工作的主要目标是引入一种智能系统模型，可以更有效地分割三种主要脑肿瘤的MRI，即胶质瘤，脑膜瘤和垂体瘤。一个U-Net架构被用来实现这一目标。基本的U-Net架构（Ronneberger等人，2015）由两个分支组成：编码器分支和解码器分支。U-Net编码器分支的结构类似于CNN的结构;卷积操作之后是编码器级别的特征提取的下采样。第二，解码分支，由上采样和级联层以及随后的常规卷积操作组成。因此，解码分支通过编码器网络将学习到的鉴别特征语义地应用到像素空间，实现密集分类。编码器和解码器的相同级别层之间的跳过连接使得能够将来自编码器网络的特征图与用于切换粗略全局上下文信息的上采样特征图连接。在下采样期间，该方法有助于局部特征的恢复。
图6描绘了所提出的边缘U-Net模型的整体架构，其中U-Net作为其骨干。该模型有两个输入：图像及其边缘。该模型的输出是脑肿瘤的掩模。在所提出的模型中，我们使用了256 × 256个输入MRI。在每个编码器块之后，这些输入MRI被渐进地滤波并以因子2进行下采样。按照这种技术，在最后一个编码器块之后，输出大小减小到输入MRI的1/16，即，1024 × 16 × 16是编码器块之后的特征图的尺寸。解码器部分由四个模块组成，这些模块与MRI中的相应编码器模块以及MRI本身耦合。EGB用于检测和突出显示边界信息。添加EGB是为了解决退化和饱和问题，改善每个块的提取特征，并帮助恢复输入图像。基本解码器块由两个3 × 3卷积层组成，具有ReLU激活。在模型的最后一个块中，添加了一个sigmoid层和一个具有2 × 2内核大小的卷积层来预测图片掩码。通过S形激活将特征图变换为概率σ（x），如等式（1）所定义。(3)（Good Psychologist，Bengio，& Courville，2016）。
[图片]
[图片]
其中x是n维矩阵中输入像素的值，σ（x）是每个像素属于同一类的概率。因此，模型的最终输出通道成为掩码的概率图。损失函数在输出和地面实况之间计算。
3.3.1. Image encoder branch — 3.3.1.图像编码器分支【没懂这是在干嘛】
图像的编码器分支是在VGG 16之后建模的（Simonyan & Zisserman，2014）。分支包含具有256 × 256个输入图像的五个卷积块。每个块被设计为提取特定于给定输入尺度的特征。第一块包含三个卷积层，具有64个通道。第二块包括具有128个通道的三个卷积层。第三个块由四个卷积层组成，每个卷积层有256个通道。第四块由四个卷积层组成，具有512个通道。最后一个块包括两个卷积层，每个卷积层有1024个通道，以及一个因子为0.5的dropout层。所有块都有大小为3 × 3的内核和步长为1的ReLU激活函数，除了最后一个块，它是用大小为1 × 1的内核设计的。在每个块之后，添加了一个Max Pooling层，内核大小为2 × 2，步长为1。、
3.3.2. Edge encoder branch—3.3.2.边缘编码器分支
四个边输出产生四个特征，具有不同的通道数，用于不同尺度的图像边缘。输入是256 × 256像素边缘图像。在这种情况下，我们使用DCNN架构来学习判别显著性特征。每个边缘编码器分支具有特征图为64、128、256和512的四个块。每个级别负责提取特定输入尺度的特征。每个块包括三个卷积层，内核大小为1 × 1，以及一个ReLU激活函数。在每个块之后，添加一个平均池化层，其内核大小为2 × 2，步幅为1。
3.3.3. Edge guidance block (EGB)—3.3.3.边缘引导块（EGB）
信息丢失是解码器的一个问题。为了连接编码器和解码器功能，为分段任务设计的编码器-解码器网络总是包含跳过连接（Badrinarayanan，Kendall，& SegNet，2015; Simonyan & Zisserman，2014）。脑肿瘤具有共同的特征，例如相似的“背景”。它们的边界信息常常难以辨别。因此，已经开发出能够联合收割机结合不同脑肿瘤特征的各种模型（Alqazzaz，Sun，Yang，& Nokes，2019; Maji等人，2022年）。
我们建议使用EGB来指导模型将图像边界特征集成到各种解码器块中，将特征与各种语义数据混合。这是受工作的启发（X.Wang，Yu，Dong，& Loy，2018）.图7描绘了EGB模块的架构。
[图片]
为了将边缘特征XE i与特征Xi合并，我们使用边缘引导块。EGB有两个输入：第一个输入是从图像中提取的边缘特征XE i，第二个输入是图像本身Xi，它重用深度空间特征，对它们进行变换，以便恢复图像的真实纹理。EGB由两个卷积层组成。第一个卷积层使用边缘图，内核大小为3 × 3，sigmoid激活层和步幅为1。第二层有一个大小为3 × 3的内核和一个ReLU激活层，步幅为1。为了将边缘特征传递到网络的下一层并发挥指导作用，我们将EGB聚合到网络特征图中。等式(4)以及（5）基于条件特征定义EGB的实现，其具有产生两个属性（γ; β）的两个独立分支。（γ，β）用于将Xi转换为边缘感知特征XF i：
结合了一个元素操作，其中作为生产操作，+作为加法操作，作为卷积操作，具有大小为3 × 3的内核和ReLU激活函数。EGB执行特征方面的操作和空间方面的变换。

（B）从地面真实值生成的掩模边缘

Sobel算子用于分别计算边界和非边界区域的值之间的差异，以便在运行学习阶段时特别关注边界区域。权重被添加到边界区域的丢失值，以获得更准确的学习阶段。给定区域j的显著性图的梯度幅值和真实显著性图S的梯度幅值，边界损失函数使用等式（1）计算：(10)（Tu，Ma，Li，Tang，& Luo，2020）。重点看一下
Tu, Z., Ma, Y., Li, C., Tang, J., & Luo, B. (2020). Edge-guided non-local fully
convolutional network for salient object detection. IEEE Transactions on Circuits and
Systems for Video Technology, 31(2), 582–593.

在预测的掩模重建期间的损失。此外，一种新的损失函数能够优化肿瘤组织边界，从而产生高度准确的分割模型。在脑肿瘤组织分割方面，实验结果表明，所提出的边缘UNet模型优于其他模型。与其他模型相比，我们的模型产生了更高和更准确的分割结果，脑膜瘤、胶质瘤和垂体脑肿瘤的最高Dice分别为88.8%、91.76%和87.28%。我们提出的框架的优点似乎如下：（1）具有复杂边缘的肿瘤的显著更准确的分割;（2）脑肿瘤的良好分割放射学，包括位置和形状;（3）在几种类型的脑肿瘤上评估了所建议的模型的普遍性，证实它已经超越了最先进的模型。根据这项研究，Edge UNet模型将来应该应用于各种脑肿瘤。为了改进CAD系统，我们接下来可以使用各种大小的肿瘤MRI和来自其他数据集的肿瘤MRI来评估模型的性能。最后，可以采用其他边缘相关算法来提高分割性能。

这篇论文里面比较的方法
El-Shafai, W., Mahmoud, A. A., El-Rabaie, E.-S.-M., Taha, T. E., Zahran, O. F., El-
Fishawy, A. S., … Abd El-Samie, F. E. (2022). Hybrid Segmentation Approach for
Different Medical Image Modalities. CMC-COMPUTERS MATERIALS & CONTINUA,
73(2), 3455–3472.（没有代码，编号21-----https://github.com/haoli12345/cats