MMWHS数据集

已于 2024-06-30 22:13:40 修改
阅读量2.7k 收藏 9
点赞数 5
分类专栏： 机器学习 文章标签： 数据集 MMWHS 医疗图像 tensorflow medpy
于 2023-10-20 20:29:56 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/HackerTom/article/details/133952123
版权

Multi-Modality Whole Heart Segmentation (MMWHS) 数据集[1] 是多模态医疗图像数据集，有磁共振（Magnetic Resonance Imaging，MRI）和断层扫描（Computed Tomography，CT）两种，[2] 对数据形式有一些简单介绍。

原数据可在 [1/project] 下载：

其中 training set 有 MR、CT 各 20 份 scans，test 各 40 份。近来一些 medical domain-adaptation segmentation 的工作 [4-9] 用的都是 [3] 预处理的数据，本篇也是用这份数据（另：[19] 给了 Abdominal 数据集的预处理数据链接）。下载：

都解压到 mmwhs/ 下，得：

mmwhs/
|- PnpAda_release_data/
|  |- ct_train_tfs/
|  |  |- ct_train_slice0.tfrecords	# image 和 label
|  |- ct_val_tfs/
|  |  |- ct_val_slice0.tfrecords
|  |- mr_train_tfs/
|  |  |- mr_train_slice0.tfrecords
|  `- mr_val_tfs/
|     |- mr_val_slice0.tfrecords
|- test_mr_image&labels/
|  |- gth_ct_1003.nii.gz			# label
|  |- image_ct_1003.nii.gz			# image
`- test_ct_image&labels/
   |- gth_mr_1007.nii.gz
   |- image_mr_1007.nii.gz

Splitting, Order

[3] 数据的划分与原数据[1]不同，是只用了原数据的 training set，其中各随机选 4 scans 做 test set，剩下 16 scans 做 training 和 val set。

  • training & val 是 tfrecords 格式，每个 tfrecords 文件（image、label 都是）都是 3 张连续的 slices：前驱 slice、核心 slice、后继 slice。所以不同 tfrecords 文件是有重复的。
  • test 还是 nii.gz 格式，可用 nibabel[10]、sitk[11]、medpy[12] 读。

因为 training & val 的数据已沿 coronal 轴（参考 [2]，即 z 轴） 分成 slices（[14] 说是 coronal slice，应该是从前往后分片），且由 [13]，slices 是打乱的，文件名也没保留相关信息，所以数据顺序、选了哪些做 val set 都不知道。

Preprocessing

数据预处理可见 [4/code] 的 readme、[14]。

[3] 给的 tfrecords、nii.gz 文件都是预处理过的，可与 [1] 的原数据对比得知：原数据 image 数值范围明显大很多，原始 HU 值范围可达负几千至正几千[2]，而 [3] 给的都在 [-5, 5] 之内（后面有相关验证）。

[20] 有给从原始 nii.gz 数据开始预处理的代码。其中 read_reorient2RAI 涉及将 3D volume 重定向成 RAI 朝向。朝向的描述参考 [21-23]，简单来说就是立体直角座标系涉及三根轴， 描述位置 (x,y,z) 时需要确定朝向的两方面：

  • 轴序：x, y, z 分别是哪跟轴的索引？
  • 轴向：每跟轴选哪个方向为正向？

RAI 朝向即：x 描述左右，右（Right）为正向；y 描述前后，前（Anterior）为正向；z 描述上下，下（Inferior）为正向。

Loading

读 tfrecords 数据（转成 numpy）的方法参考 [4,5,8,9,15]，分用、不用 eager 模式两种，主要代码来自 [8] 的 convert_tfrecords.py。此节代码用 TensorFlow 2.14.0。

eager

import os, os.path as osp
import numpy as np
import tensorflow as tf
if '2' == tf.__version__.split('.')[0]:
    tf = tf.compat.v1

# decode tfrecords 的格式，来自 [3] 的 README
FEATURES = {
    'dsize_dim0': tf.FixedLenFeature([], tf.int64),
    'dsize_dim1': tf.FixedLenFeature([], tf.int64),
    'dsize_dim2': tf.FixedLenFeature([], tf.int64),
    'lsize_dim0': tf.FixedLenFeature([], tf.int64),
    'lsize_dim1': tf.FixedLenFeature([], tf.int64),
    'lsize_dim2': tf.FixedLenFeature([], tf.int64),
    'data_vol': tf.FixedLenFeature([], tf.string),
    'label_vol': tf.FixedLenFeature([], tf.string)
}
# image、label 的 shape，3 是因为取了连续三片
SIZE = [256, 256, 3]

def _parse(example_proto):
    return tf.io.parse_single_example(example_proto, FEATURES)

def read_tfrecord(f):
    dataset = tf.data.TFRecordDataset(f).map(_parse)
    for data in dataset:
        # print(type(data)) # dict
        img = tf.decode_raw(data['data_vol'], tf.float32).numpy()
        label = tf.decode_raw(data['label_vol'], tf.float32).numpy()
        img = img.reshape(SIZE)
        label = label.reshape(SIZE)
    return img, label

# 读
SRC = "PnpAda_release_data/mr_val_tfs"
# 顺便保存（后面对拍顺序）
DEST = "mr_val_eager"
os.makedirs(DEST, exist_ok=True)
for f in os.listdir(SRC):
    img, label = read_tfrecord(osp.join(SRC, f))
    np.save(osp.join(DEST, osp.splitext(f)[0]), img[:, :, 1]) # 只存中间的 slice

non-eager

import os, os.path as osp
import numpy as np
import tensorflow as tf
if '2' == tf.__version__.split('.')[0]:
    tf.compat.v1.disable_v2_behavior() # tf1 风格读数据要加这句
    tf = tf.compat.v1

FEATURES = {
    'dsize_dim0': tf.FixedLenFeature([], tf.int64),
    'dsize_dim1': tf.FixedLenFeature([], tf.int64),
    'dsize_dim2': tf.FixedLenFeature([], tf.int64),
    'lsize_dim0': tf.FixedLenFeature([], tf.int64),
    'lsize_dim1': tf.FixedLenFeature([], tf.int64),
    'lsize_dim2': tf.FixedLenFeature([], tf.int64),
    'data_vol': tf.FixedLenFeature([], tf.string),
    'label_vol': tf.FixedLenFeature([], tf.string)
}
SIZE = [256, 256, 3]

# 读
SRC = "PnpAda_release_data/mr_val_tfs"
# 顺便保存（后面对拍顺序）
DEST = "mr_val_non-eager"
os.makedirs(DEST, exist_ok=True)

files = os.listdir(SRC)
files = [osp.join(SRC, f) for f in files] # 要绝对路径，否则后面报错找不到文件

file_queue = tf.train.string_input_producer(files, shuffle=False) # 关 shuffle，否则顺序不同
reader = tf.TFRecordReader()
_, serialized_example = reader.read(file_queue)
data = tf.parse_single_example(serialized_example, features=FEATURES)

img_vol = tf.decode_raw(data['data_vol'], tf.float32)
label_vol = tf.decode_raw(data['label_vol'], tf.float32)
img_vol = tf.reshape(img_vol, SIZE)
label_vol = tf.reshape(label_vol, SIZE)

with tf.Session() as sess:
    sess.run(tf.initialize_all_variables())
    coord = tf.train.Coordinator()
    threads = tf.train.start_queue_runners(sess=sess, coord=coord)
    for f in files: # 手动限长，否则会一直循环读
        img, label = sess.run([img_vol, label_vol])
        np.save(osp.join(DEST, osp.splitext(osp.basename(f))[0]), img[:, :, 1]) # 也是只存中间的 slice

    coord.request_stop()
    coord.join(threads)

comparison

两种读法应该读出来的结果一样，包括顺序，对拍：

import os, os.path as osp
import numpy as np

# 前面保存的 mr_val 数据
P1 = "mr_val_eager"
P2 = "mr_val_non-eager"
for f in os.listdir(P1):
	im1 = np.load(osp.join(P1, f))
	im2 = np.load(osp.join(P2, f))
	assert (im1 != im2).sum() == 0, f
print("DONE")
  • 结论：一致

Statistics

[4,5] 的 README 说要张数据变换到 [-1, 1]，而其代码 data_loader.py 是用 min-max scaling 做的，其中 image 的最小、最大值为：

  • MR：-1.8，4.4
  • CT：-2.8，3.2

由 [17]，这些值是仅由 tfrecords 文件导出的，验证：

tfrecords

import os, os.path as osp, math
import tensorflow as tf
if '2' == tf.__version__.split('.')[0]:
    tf.compat.v1.disable_v2_behavior()
    tf = tf.compat.v1

for m in ("mr", "ct"):
    max_v, min_v = -math.inf, math.inf
    for sub in ("train", "val"):
        d = f"{m}_{sub}_tfs"
        max_v_sub, min_v_sub = -math.inf, math.inf
        
        files = os.listdir(d)
        files = [osp.join(d, f) for f in files]
        file_queue = tf.train.string_input_producer(files, shuffle=False)
        reader = tf.TFRecordReader()
        _, serialized_example = reader.read(file_queue)
        parser = tf.parse_single_example(serialized_example, features=features)
        img_vol = tf.decode_raw(parser['data_vol'], tf.float32)
        img_vol = tf.reshape(img_vol, [256, 256, 3])

        with tf.Session() as sess:
            sess.run(tf.initialize_all_variables())
            coord = tf.train.Coordinator()
            threads = tf.train.start_queue_runners(sess=sess, coord=coord)
        
            for f in files:
                img = img_vol.eval()
                max_v_sub = max(max_v_sub, img.max())
                min_v_sub = min(min_v_sub, img.min())
                print(f, end='\r')
        
            coord.request_stop()
            coord.join(threads)
            
        print(f"\n{m}, {sub}, min:", min_v_sub, ", max:", max_v_sub)
        max_v = max(max_v, max_v_sub)
        min_v = min(min_v, min_v_sub)
        
    print(f"\n{m}, min:", min_v, ", max:", max_v)
  • 输出
mr, train, min: -1.7675079 , max: 4.3754067
mr, val, min: -1.511309 , max: 3.2670646
mr, min: -1.7675079 , max: 4.3754067

ct, train, min: -2.731593 , max: 3.0706542
ct, val, min: -2.4145143 , max: 2.2560735
ct, min: -2.731593 , max: 3.0706542

nii.gz

import os, os.path as osp, math
import medpy.io as medio
    
for m in ("mr", "ct"):
    max_v, min_v = -math.inf, math.inf
    d = f"test_{m}_image&labels"
    for f in os.listdir(d):
        if not f.startswith("image_"): continue
        print(f, end='\r')
        im, _ = medio.load(osp.join(d, f))
        max_v = max(max_v, im.max())
        min_v = min(min_v, im.min())
    print('\n', m, min_v, max_v)
  • 输出
mr -1.1368891922215185 2.6575754759544323
ct -1.763460938640936 2.368554272081745

结论：代码用的基本跟 tfrecords 导出的一致。另 [18] 指出 Abdominal 用的 min、max value。

References

  1. (MIA 2019) Evaluation of algorithms for Multi-Modality Whole Heart Segmentation: An open-access grand challenge - paper, project, paper with code
  2. 医疗图像分割指标
  3. (arXiv 2018) PnP-AdaNet: Plug-and-play adversarial domain adaptation network with a benchmark at cross-modality cardiac segmentation - paper, github
  4. (AAAI 2019) Synergistic Image and Feature Adaptation: Towards Cross-Modality Domain Adaptation for Medical Image Segmentation - paper, code
  5. (TMI 2020) Unsupervised Bidirectional Cross-Modality Adaptation via Deeply Synergistic Image and Feature Alignment for Medical Image Segmentation - paper, code
  6. (JBHI 2020) Margin Preserving Self-Paced Contrastive Learning Towards Domain Adaptation for Medical Image Segmentation - paper, code
  7. (MICCAI 2021) MT-UDA: Towards Unsupervised Cross-modality Medical Image Segmentation with Limited Source Labels - paper, code
  8. (TMI 2021) Self-Attentive Spatial Adaptive Normalization for Cross-Modality Domain Adaptation - paper, code
  9. (MICCAI 2022) Attention-Enhanced Disentangled Representation Learning for Unsupervised Domain Adaptation in Cardiac Segmentation - paper, code
  10. nipy/nibabel, NiBabel
  11. SimpleITK/SimpleITK, SimpleITK
  12. loli/medpy, MedPy
  13. 数据集预处理 #49
  14. The pre-processing of the original data #9 -> The Preprocess Data Issue #12
  15. tsmatz/tensorflow-mnist-batch-read-and-train-tutorial
  16. tf.compat.v1.train.string_input_producer
  17. About the minmax value #11
  18. Min Max value to normalize Abdominal datasets. #56
  19. Prepocessed Abdominal Data #51
  20. (NIPS 2023) Towards Generic Semi-Supervised Framework for Volumetric Medical Image Segmentation - code
  21. Orientation and Voxel-Order Terminology: RAS, LAS, LPI, RPI, XYZ and All That
  22. NIfTI格式医学图像不同方向之间旋转
  23. nii文件中的方向理解
  24. Coordinate systems and affines
  25. depth estimation笔记
HackerTom
关注
  • 5
    点赞
  • 踩
  • 9
    收藏
    觉得还不错? 一键收藏
  • 5
    评论
专栏目录
PnP-AdaNet学习笔记
weixin_51700853的博客
07-20 1065
PnP-AdaNet笔记
Heart Segmentation in MRI Images MRI图像中的心脏分割-数据集
03-12
MRI图像中的心脏分割 Heart Segmentation in MRI Images_datasets.txt Heart Segmentation in MRI Images_datasets.zip
多模态医学图像数据集
海绵宝宝强无敌的博客
07-24 1万+
多模态医学图像数据集 参考博客： 数据集:一文道尽医学图像数据集与竞赛 医学影像系列：一 数据集合集 最新最全 医学图像数据集汇总 医学影像数据集集锦 医学影像开源数据集 脑的数据一般可以多模态，MRI-T1/T2 etc, CT/MRI，单独的配准图像应该很难找，一般是找分割的多模态图像。 上海交通MedMNIST 10 datasets, single modal, classification task Link：https://arxiv.org/pdf/2010.14925.pdf MedPix
MMWHS-文献阅读（图像分割）
zuyuhuo6777的博客
12-18 4350
一、 https://github.com/xy0806/miccai17-mmwhs-hybrid Paper: Hybrid Loss Guided Convolutional Networks for Whole Heart Parsing （MICCAI 2017） 1、迁移学习 使用C3D模型中参数 2、分层深层监督 增加几个分层的侧面路径，从而缩短梯度流的反向传播路径，并...
nnUNetv2使用自己数据集出现的问题
最新发布
weixin_45919999的博客
07-03 1638
处理数据之后，就可以对模型进行训练，训练指令如下。DATASET_NAME_OR_ID就是我们的数据集id(501,502)，UNET_CONFIGURATION FOLD就是使用nnunetv2提供的集中Unet配置进行训练，分别有2d、3d_fullres、3d_lowres、 3d_cascade_lowres。也就是说每个nii.gz的文件命名必须和训练集的文件命名一致，同时文件名字的最后需要有一个4位数的标识符，表示是哪一个模态的，和dataset.json中的channel_name设置一致。
多模态全心分割数据集MM-WHS 2017
qq_42374557的博客
12-11 1369
多模态全心分割数据集MM-WHS2017简介与下载
公开数据集分享（一）-MMWHS
zuyuhuo6777的博客
12-16 2787
公众号中有粉丝私信我，向我咨询公开数据集(MMWHS)的数据，下面我给大家大概介绍一下这个数据集，并提供我之前关于这个数据集做的一些工作。 MMWHS-是一个全心脏分割的工作，一共是8类，数据集的具体信息和下载链接，可以参考： http://www.sdspeople.fudan.edu.cn/zhuangxiahai/0/mmwhs/ 下面的这个链接是我的github，分享一下对于该数据集...
matlab神经网络保存的代码-WholeHeartSegmentation:MM-WHS2017的代码：多模态全心分割
05-23
matlab神经网络保存的代码
医学数据集集合
weixin_44549562的博客
05-30 5039
1.ACDC dataset 是一个心脏3D MRI影像数据集，有100张，2017年ACDC挑战赛（Automated Cardiac Diagnosis Challenge）小约，大小1GB 下载地址：https://aistudio.baidu.com/aistudio/datasetdetail/56020 2.prostate datasets是MICCAI2018一个挑战赛的数据集，大小1.3GB，是一个前列腺癌分割的数据集，包含3D MRI影像 。 下载地址：https://www.kaggl
医学影像数据集
qq_45753667的博客
10-04 900
ODIR-5K包括5000名患者的年龄，双眼的彩色眼底照片和医生的诊断关键词。患者分为8个标签，包括正常（N），糖尿病（D），青光眼（G），白内障（C），AMD（A），高血压（H），近视（M）和其他疾病/异常（O）。[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-tRU10Ywx-1636195013860)(https://raw.githubusercontent.com/linhandev/dataset/main/static/Lung-PET-CT-Dx.png)]
医学图像数据集下载地址
qq_44504069的博客
04-11 2929
医学图像数据集下载地址
[实验准备]-0.心脏数据集
Hollycooool的博客
06-03 1639
EchoNet-Dynamic 数据库包括 10,030 个带标记的超声心动图视频和人类专家注释（测量、描记和计算），为研究心脏运动和心腔大小提供了基线。实验论文： ​​https://echonet.github.io/dynamic/NeuroIPS_2019_ML4H%20Workshop_Paper.pdf。MM-WHS数据下载地址：https://zmiclab.github.io/zxh/0/mmwhs/主动脉冠状动脉分割数据下载地址：​​​​​Home - Grand Challenge。
100+医学影像数据集集锦
热门推荐
linhandev
11-06 3万+
医学影像数据集集锦 前言 本项目的目标是整理一个医学影像方向数据集的列表，提供每个数据集的基本信息，并对其中License允许的提供不限速下载。项目按照数据集关注的器官对其进行分类。需要整理的数据集很多，我们十分期待大佬们为项目作出贡献。 如果您发现项目已有的内容中有任何错误（包括但不限于md格式问题，网址失效，数据错误，简介信息补充等），可以通过Pull/Request进行修正。 如果您想用的数据集没有出现在列表中，请按照模板提交Issue，并尽量详细地描述数据集信息。我们会尽快添加，若License允
论文解读《基于伪标签自训练的局部对比损失半监督医学图像分割》
weixin_37591159的博客
02-18 6594
论文解读《Local contrastive loss with pseudo-label based self-training for semi-supervised medical image segmentation》 发表期刊：NeurIPS2021（神经信息处理系统大会（NeurIPS），前称NIPS，是一个机器学习和计算神经科学相关的学术会议，每年12月举行。） 代码： 代码链接 论文：论文地址 分区： CCF-A 摘要： 基于监督深度学习的方法可以为医学图像分割提供精确的结果。然而，它们需要
Phone in my heart
nailwl
12-11 566
日前日本经济新闻表示索尼公司正在准备开发一款结合手机和掌上游戏机的产品，以更好地与苹果公司广受欢迎的iPod和iPhone相抗衡，万众期待的PSP手机终于即将问世了。 　　日本电子和娱乐巨头索尼在30年前推出了世界首款随身听以来，一直主宰着便携式音乐播放器市场，但在最近几年它却一直远远落后于iPod和iPhone。看来索尼公司是该反省的时候了。 http://pic.hsw.cn/0/10/29/
【阅读笔记】《CFUN: Combining Faster R-CNN and U-net Network for Efficient Whole Heart Segmentation》
ShuqiaoS的博客
06-25 1847
本文记录了博主阅读论文《CFUN: Combining Faster R-CNN and U-net Network for Efficient Whole Heart Segmentation》的笔记，代码。更新于2019.06.24。 文章目录摘要IntroductionRelated WorkTraditional Methods3D U-Net Based Segmentation Net...
mmwhs数据集下载
01-18
mmwhs数据集是一个用于医学图像分割的数据集，包含了心脏的MRI图像和对应的分割标签。您可以通过以下步骤来下载mmwhs数据集。 首先，您可以在搜索引擎中输入“mmwhs数据集下载”来找到数据集的官方网站或者相关资源网站。一般来说，数据集的官方网站会提供最可靠的下载渠道和最新的数据集信息。 其次，一旦找到了数据集的官方网站，您可以在网站的搜索栏或者导航栏中找到相关的下载链接或者页面。通常来说，数据集的官方网站会提供详细的下载说明和操作流程，您可以按照网站上的指示来进行下载操作。 另外，有些数据集可能需要注册或者登录才能进行下载，所以您可能需要提前准备好相关的账号信息。 最后，一旦找到了下载链接或者页面，您可以点击链接或者按照页面上的指示来进行下载。根据数据集的大小和您的网络环境，下载过程可能需要一些时间，请耐心等待。 总的来说，想要下载mmwhs数据集，您可以通过搜索引擎找到数据集的官方网站，按照网站上的指示来进行下载操作。希望这个回答能够帮助到您，祝您顺利获取mmwhs数据集！
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值