Gradient-assisted deep model for brain tumor segmentation by multi-modality MRI volumes

最新推荐文章于 2024-10-02 21:43:07 发布

火柴狗

最新推荐文章于 2024-10-02 21:43:07 发布

阅读量90

点赞数 1

文章标签：机器学习人工智能计算机视觉神经网络 transformer

本文链接：https://blog.csdn.net/weixin_42489272/article/details/134353119

版权

文章介绍了一种新的深度学习方法GAM-Net，通过双卷积编码器、梯度提取分支和梯度驱动解码器，有效利用脑肿瘤边界梯度信息，以提高多模态MRI中脑肿瘤的分割精度。实验在BraTs2020数据集上进行了验证，展示了其在处理复杂边界情况的优势。

摘要由CSDN通过智能技术生成

Gradient-assisted deep model for brain tumor segmentation by multi-modality MRI volumes

梯度辅助深度模型，用于多模态MRI体积分割脑肿瘤

梯度辅助深度模型，用于多模态MRI体积分割脑肿瘤

Biomedical Signal Processing and Control 【2023】

背景

在临床诊断中，医生通过肿瘤的位置、形状和大小等关键因素制定治疗策略。随着计算机技术的发展，深度学习在医学图像分割中的优势日益凸显。胶质瘤具有受累区域弥漫性浸润、边界模糊、脑组织肿胀等特点，难以准确分割交叉区域附近的脑肿瘤。现有算法在灰色信息分割肿瘤方面取得了很好的效果。然而，他们忽略了肿瘤边界区域的梯度。多模态MRI的复杂性和脑肿瘤区域之间的巨大差异使得难以有效和准确地分割脑肿瘤。

贡献

提出了一种梯度辅助的多类别脑肿瘤分割方法（GAM-Net）。GAM-Net包括三个分支：

双卷积编码器，可以从多模态MRI中捕获丰富的特征;
梯度提取分支，可生成梯度特征，辅助区域分割;
梯度驱动的译码器，可以有效地提供融合轮廓信息和编码特征。

在我们的编码器-解码器模型中，由 D-ConvD 模块组成的编码器用于从多模态 MRI 中提取丰富的特征。该模块在不增加网络参数的情况下保留了详细的特征，有助于解码器生成更准确的分割结果。该方法考虑脑肿瘤侵袭导致的边界复杂多变，设计了一种梯度驱动的译码器，为译码器提供标记的梯度信息，从而提高了多类别分割的准确性。

实验

参数设置：输入图像的贴片大小为 160 × 192 × 128。批处理大小设置为 1
数据集：BraTs2020 增强包括 Z 值归一化、随机裁剪和随机翻转。Z分数归一化训练数据和测试数据裁剪到 160 × 192 × 128。在训练过程中，随机剪切操作可以扩大原始图像的数量。在测试过程中，集中裁剪操作可以确保与训练数据大小相同，并去除冗余背景。至于随机翻转，如果生成的随机值小于 0.5，则图像将绕 X 轴翻转。每个翻转图像增强都包括 X、Y 和 Z 轴上的三个随机翻转。

“The gradient annotations are generated from the original segmentation label, without an independent annotating process. The gradient label has the same thickness with the input images in 3D space. According to the characteristics of data resolution and manual sketching, canny gradient information is extracted from slice, and then is synthesized into volumes according to the spatial resolution of the original input. Considering the spatial relationship between WT, TC and ET and the absence of ET in some subjects, the extracted gradient label contains WT and TC gradient annotations.”

梯度注释由原始分割标签生成，无需独立的注释过程。梯度标注在三维空间中与输入图像具有相同的厚度。根据数据分辨率和人工绘制草图的特点，从切片中提取canny梯度信息，然后根据原始输入图像的空间分辨率合成为体积。考虑到 WT、TC 和 ET 之间的空间关系以及某些受试者没有 ET，提取的梯度标签包含 WT 和 TC 梯度注释。
在这里插入图片描述

方法

Double convolutional encoder

在这里插入图片描述

Gradient extraction branch

梯度解码分支生成有用的梯度信息，可以使解码器获得更准确的分割。我们使用基本的卷积来形成梯度提取分支。编码器中总共使用了四个具有下采样功能的 DConvD。相应地，梯度译码分支采用了四个卷积模块（梯度提取块，GEB）。GEB 有两个输入流。一个是前一个特征向量，另一个是编码器输出的对应特征向量
在这里插入图片描述
(a)
ConvD：两个Relu(ConvBN+ConvBN)，加上残差连接
D-ConvD：cat(ConvD,ConvD)+F
GEB：输入是两个不同尺度的特征融合后得到梯度特征
GDB：输入是编码特征和梯度特征还有上一层特征

Gradient-driven decoder

这种结构是生成多类别分割结果的关键，它可以融合来自断开连接网络的分割值的特征。梯度驱动解码器由四个梯度驱动模块（GDB）组成。详细信息如图3（c）所示。GDB 接收三种不同的输入信号。其中一个输入是来自编码器的特征向量 Fi。需要对特征向量 Fi 进行上采样。第二个输入 Pi 是从梯度提取分支中提取的梯度特征。最后一个输入信号 Oi−1 是从前一个 GDB 中提取的特征向量。当GDB位于第一个位置时，没有输入，并且省略了图3中的虚线操作和Oi−1。