【BraTS】Brain Tumor Segmentation 脑部肿瘤分割1(数据篇)

Brats

一、BraTS比赛数据概要

BraTS全名是Brain Tumor Segmentation ,即脑部肿瘤分割。世界卫生组织(WHO)按细胞来源和行为对脑肿瘤进行分类:

  • 非恶性脑肿瘤被分类为I级或II级,也被称为低度(low grade, LG)肿瘤,LG肿瘤不会严重影响患者的预期寿命
  • 恶性肿瘤被分类为III级或IV级,被称为高度(high grade, HG),与HG肿瘤的最大预期寿命只有两年不同

从神经影像学方法对脑肿瘤进行分割是改善疾病诊断,治疗计划,监测和临床试验的关键步骤。需要可靠的脑肿瘤分割来检测肿瘤的位置和范围。

然而,脑肿瘤的准确分割极具挑战性,这些肿瘤几乎可以以任何形状和大小出现在不同的位置。另外,它们通常对比度差,并且肿瘤的强度值可能与健康的脑组织的强度值重叠。

因此,将健康组织与肿瘤区分开来并不容易。解决此问题的常用方法是整合从多种 MR 模态中获取的信息,模态包括:

  • T1加权MRI(T1)
  • 加造影剂的T1加权MRI(T1c)
  • T2加权MRI(T2)
  • 液体衰减反转恢复(FLAIR)MRI

根据所需的人机交互程度,脑肿瘤分割方法主要分为3类:

  • 手动
  • 半自动
  • 全自动分割。

在MR图像中手动分割脑肿瘤是一项非常艰巨的任务,既耗时又受评估者差异的影响。因此,在过去的二十年中,可靠的脑肿瘤自动和半自动分割技术引起了人们的广泛关注,并产生了数百种不同的算法。

这些算法中有许多是在私有数据集上实现和评估的。私有数据集在输入数据(使用的成像方式),脑肿瘤的类型和疾病状态(治疗前或治疗后)方面差异很大,以至于很难比较所提出的分割方法的性能。

为了解决这个问题,自2012年以来,医学影像计算和计算机辅助干预协会(MICCAI)发起了多模态脑肿瘤影像分割挑战(BRATS)。BraTS数据库包含大量的多模态脑部扫描,可公开获取,并用于开发和测试最新的脑肿瘤分割算法。

BraTS 比赛官方网址:http://www.braintumorsegmentation.org/
BraTS 2015下载地址:https://aistudio.baidu.com/aistudio/datasetdetail/26367

下面,我们就可以从上面的网址中,下载到我们需要的脑肿瘤数据了。若要查看下载下来的图像,我们可以使用标注软件ITK-SNAP进行查看。其中每一个病例的文件夹下面,都是由这5个文件组成的,(除测试集外,测试集无标签文件),分别是:

  • XXX.Flair 液体衰减反转恢复MRI
  • XXX.T1 加权MRI
  • XXX.T1c 加造影剂的T1加权MRI
  • XXX.T2 T2加权MRI
  • XXX.OT label,标签内容0,1,2,3,4 背景+4类

文件格式都是.mha,直接拖动mha文件到ITK-SNAP进行查看,记得需要拖动模态文件和OT标签文件,如下展示:

1
你可能会比较好奇其中的五颜六色的标签,各个颜色代表不同的标签,后面我们会对标签进行数据可视化处理,便于处理。这里可以先看如下描述:

1
注释:带有手动注释的三种成像模式(A = FLAIR,B = T2,C = T1c)上的肿瘤外观,以及右侧的三个标签的融合(D)。从左到右,分别是:

  • 全肿瘤(黄色)
  • 肿瘤核心(红色)
  • 增强肿瘤核心(浅蓝色)
  • 核心的囊性坏死成分(绿色))

二、图层图像处理

医学影像中的数据,大多就那么几个行业标准的数据形式。比如dicom、nii、npz、mhd等其他格式,尤其是以上述几种数据格式为多。

有些是可以存储二维数据的,例如x光,有些是存储三维数据的,例如ct、mri等断层扫描数据。当然在处理这些数据的时候,python也有专门的第三方库。

  • pydicom是专门处理dicom的库
  • SimpleITK可以处理nii、npz、mhd这些三维数组

更多关于医学数据处理的部分,比如图像转换等等,可以参考这里:nii、npz、npy、dcm 的数据处理,及多目标分割处理汇总

本数据的处理,主要遵循下面步骤:

  • 读取mhd文件
  • 逐层获取单层标签图像
  • 查看会发现很多像素值是超过255 的。所以直接保存图像就会产生截断,使得图像偏白,像素丢失。
  • 先归一化到0-255,再保存
  • 保持为图像

完整代码如下:

import random
from PIL import Image
import SimpleITK as sitk

def load_mha_as_array(img_name):
    """
    get the numpy array of brain mha image
    :param img_name: absolute directory of 3D mha images
    :return:
        nda  type: numpy    size: 150 * 240 * 240
    """
    img = sitk.ReadImage(img_name)
    nda = sitk.GetArrayFromImage(img)
    return nda

def get_subject():
    # **************** get file ****************
    path = r'F:\data_sample\HGG\brats_2013_pat0001_1\VSD.Brain.XX.O.MR_Flair.54512.mha'

    img = load_mha_as_array(path)
    print(img.shape)
    for i in range(img.shape[0]):
        oneImg_arr = img[i]
        print(oneImg_arr.shape)
        
        print(set(oneImg_arr[oneImg_arr != 0]))
        np.savetxt(r"img.txt", oneImg_arr, delimiter=',', fmt='%5s')

        max_pix = np.amax(oneImg_arr)
        label_train = oneImg_arr / max_pix  # 归一化
        image = Image.fromarray(label_train * 255)

        image = image.convert("L")
        image.save("./data/Flair/" + "image_" + str(i) + ".png")

if __name__=='__main__':
    get_subject()

保存好图像的截图如下:

图片
同理,标签部分的保存同样如此,后面就是

三、标注标签处理

标签文件就是那个带OT字样的,这里记录了断层扫描每一层的类别标记情况。根据我们从前面用ITK_SNAP软件可以猜想下,这个标签文件记录的应该是个三维数据,层数据x每一层的宽x每一层的高。

下面把这个标签文件单独处理下,直观的看看是什么样子的,代码部分和对上面图像处理的差不多,主要步骤如下:

  • 读取mhd文件
  • 逐层获取单层标签图像
  • 查看发现标签数组是0、1、2、3、4,不利于显示
  • 归一化,从0-4,拉伸到0-255(这里仅仅作为展示方便的处理)
  • 保持为图像

直接看下面代码吧:

import random
from PIL import Image
import SimpleITK as sitk
def load_mha_as_array(img_name):
    """
    get the numpy array of brain mha image
    :param img_name: absolute directory of 3D mha images
    :return:
        nda  type: numpy    size: 150 * 240 * 240
    """
    img = sitk.ReadImage(img_name)
    nda = sitk.GetArrayFromImage(img)
    return nda

def get_subject():
    """
    label   4D numpy    155 * 240 * 240
    """
    # **************** get file ****************
    path = r'F:\data_sample\HGG\brats_2013_pat0001_1\VSD.Brain_3more.XX.O.OT.54517\VSD.Brain_3more.XX.O.OT.54517.mha'

    img = load_mha_as_array(path)
    print(img.shape)
    for i in range(img.shape[0]):
        oneImg_arr = img[i]
        print(oneImg_arr.shape)
        if oneImg_arr[oneImg_arr != 0].size > 0:
            print(set(oneImg_arr[oneImg_arr != 0]))
            np.savetxt(r"img.txt", oneImg_arr, delimiter=',', fmt='%5s')

            max_pix = np.amax(oneImg_arr)
            label_train = oneImg_arr / max_pix  # 归一化
            image = Image.fromarray(label_train * 255)

            # image = Image.fromarray(oneImg_arr)
            image = image.convert("L")
            image.save("./data/ot/" + "image_" + str(i) + ".png")

if __name__=='__main__':
    get_subject()

生成标签存储到本地的结果:

data-label关于上述生成标签的数据处理详细部分,参考这里:nii、npz、npy、dcm 的数据处理,及多目标分割处理汇总

四、总结

对医学数据了解多了,你就会发现。医学数据的存储形式、标签存储形式几乎都是大同小异,甚至可以说就是一样的。

本文中的脑补肿瘤分割挑战赛的数据不一样的地方就是,它是多模态的,光输入数据就是4个模态,每一个模态都是一个三维的断层扫描数据。

这也就意味着,输入数据更复杂了。4个模态输入,对应预测1个输出。一般的断层数据,比如CT数据预测肺癌结节的LIDC数据,是1个三维数据,对应到1个输出,就简单了很多。

到这里,了解了一些基本的数据结构和内容,包括:

  • Brats比赛的数据,是有4个模态的
  • 每一个模态的大小都是155*240*240,150层240*240的断层扫描
  • 4个模态预测一个分割任务,分割的目标有4个类别+1个背景
  • 如何将4个模态的信息给综合利用起来?是本分割任务的重中之重,也是模型设计的出彩点

由上面的不一样,自然也就成了后面设计网络时候的创新点。思考两个问题:

  • 综合各个模态的信息:如何把4个模态给并联的作为输入?
  • 综合单模态上下层三维信息:如何考虑MRI的三维断层,层与层之间的联系?

本系列接下来的几篇文章,就是对上述问题进行拆解。有训练和测试的代码?关注不迷路,敬请期待。

参考文章:
1.使用多模态脑部扫描数据的自动脑肿瘤分割
2. lstm_multi_modal_UNet
3.医学影像数据集集锦

### 使用 Unet 和 U2net 进行脑肿瘤 MRI 图像分割 #### Unet 的应用 Unet 是一种常用于医学图像分割的卷积神经网络架构,尤其适用于生物医学图像分析中的像素级分类任务。该模型通过编码器-解码器结构来学习输入图像的空间层次特征,并利用跳跃连接保留细节信息[^3]。 对于脑肿瘤 MRI 图像分割的任务而言: 1. **数据准备** 数据集通常由多个患者的 MRI 扫描组成,这些扫描可能来自不同的成像序列(T1、T2 加权等)。为了训练 Unet 模型,在实际操作前需先完成 DICOM 文件转换为常用图像格式的工作,如 jpg 或 png 格式,并提取必要的元数据信息以便后续处理[^4]。 2. **构建与配置 Unet 架构** ```python import torch.nn as nn class UNet(nn.Module): def __init__(self, n_channels=1, n_classes=2): super().__init__() self.inc = DoubleConv(n_channels, 64) self.down1 = Down(64, 128) self.down2 = Down(128, 256) self.up1 = Up(256, 128) self.up2 = Up(128, 64) self.outc = OutConv(64, n_classes) def forward(self, x): ... ``` 此代码片段展示了简化版的 PyTorch 实现方式,其中 `n_channels` 表示输入通道数(单模态 MRI 输入一般设为 1),而 `n_classes` 则对应于输出类别数量(例如背景 vs 肿瘤区域)。 3. **训练过程优化** 考虑到医疗影像特有的挑战性特点,比如类不平衡现象严重等问题,建议采用加权交叉熵损失函数或其他专门设计用来应对此类情况的目标函数来进行模型训练调整。 --- #### U2net 的改进之处及其具体实践 相较于传统的 Unet 结构,U2net 提出了更深层次嵌套式的残差路径以及密集短路链接机制,从而增强了局部感受野并促进了跨尺度上下文交互效果。这种特性使得 U2net 特别适合复杂场景下的精细物体边界捕捉工作[^2]。 针对脑部病变识别应用场景来说: 1. **增强特征表达能力** 引入更多样化的子模块组合形式,包括但不限于多分支融合策略、注意力引导机制等手段进一步提升最终预测精度; 2. **高效资源利用率考量** 由于 U2net 参数量较大且计算成本较高,因此在部署阶段应充分考虑硬件条件限制因素,必要时可尝试量化压缩技术降低运行开销而不显著牺牲性能表现。 综上所述,无论是选用经典的 Unet 方案还是更为先进的 U2net 设计思路都能有效服务于脑肿瘤 MRI 影像学诊断辅助工具开发流程之中。
评论 4
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

钱多多先森

你的鼓励,是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值