Deep Learning for Medical Image Segmentation: Tricks, Challenges and Future Directions

最新推荐文章于 2023-06-12 22:24:13 发布
最新推荐文章于 2023-06-12 22:24:13 发布
阅读量538 收藏 5
点赞数 2
分类专栏： # Medical Segmentation 文章标签： 深度学习 计算机视觉 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/HoraceYan/article/details/128483969
版权

文章目录

前言

本文旨在分析一下作为医学图像分割入门的综述，可以比较直观和全面的了解一些用于医学图像分割领域的 tricks。

原论文链接：Deep Learning for Medical Image Segmentation: Tricks, Challenges and Future Directions

1. Abstract & Introduction

1.1. Abstract

最近的医学图像分割领域其主要贡献往往侧重于网络架构，训练策略和损失函数方面的提升，而无意中忽略了一些边缘细节（也被称作技巧）。

在这篇文章中，我们收集了不同模型实现阶段（即预训练模型、数据预处理、数据增强、模型实现、模型推理和结果后处理）的一系列医学图像分割的技巧。

1.2. Introduction

本文将MedISeg模型分为六个实施阶段，即预训练模型、数据预处理、数据增强、模型实施、模型推理和结果后处理。

对于每个技巧，本文在两个典型的分割基线模型，即 2D-UNet 和 3D-UNet 的帮助下，在四个医学图像分割数据集，即 2D ISIC 2018[、2D CoNIC、3D KiTS19 和 3D LiTS 上，实验探索其有效性。

下图是所调查的MedISeg技巧及其潜在关系的图示：
在这里插入图片描述

本文的主要贡献可以概括为以下几点：

  • 本文收集了一系列针对不同实施阶段的 MedISeg 技巧，并通过实验探索了这些技巧在一致的 CNNs 基线模型上的有效性。
  • 本文明确阐明了这些技巧的有效性，在二维和三维医学图像数据集上的大量可靠的实验结果弥补了 MedISeg 中的实施疏忽。
  • 本文开源了一个强大的 MedISeg 资源库，其中包括丰富的分割技巧，而且每个技巧都具有即插即用的优势。
  • 这项里程碑式的工作将促进后续工作，在公平环境下比较 MedISeg 模型的实验结果。
  • 本文的工作将为未来广泛的医学图像处理尤其是分割挑战提供实际指导。

2. Preliminaries

2.1. Baselines

  • 2D-UNet
    • 2D-UNet 由一个编码器网络和一个解码器网络组成
      • 编码器网络有四个空间分层阶段。每个阶段包括两个 3×3 的卷积层，然后是一个 ReLU 激活函数和一个全局最大池化层（stride = 2）
      • 解码器网络以编码器网络的输出为输入，也有四个阶段，对应于相同的空间编码器阶段
  • 3D-UNet
    • 3D-UNet 的网络结构与 2D-UNet 几乎相同，它由一个 3D 编码器网络和一个 3D 解码器网络组成
      • 在每个解码器阶段中，一个二维转置卷积算子首先通过双线性插值操作对图像进行 2 倍上采样
      • 然后依次部署两个 3×3 卷积层和一个 ReLU 激活函数
      • 特别是在最后一个解码网络层中，输出特征图的通道大小通过 2×2 卷积层分配给所使用的数据集的类大小
  • 3D-UNet 和 2D-UNet 在实现上的区别是：
    • 2D卷积层被3D卷积层取代
    • 在编码器阶段的同一层和解码器阶段之间增加了一个横向连接，其空间和通道大小相同
    • 在输入图像上实现了 normalization layer

2.2. Datasets

  • 2D ISIC 2018
    • ISIC 2018是计算机辅助诊断领域最具代表性和挑战性的二维皮肤病变边界分割数据集之一，它由 2,594 张 JPEG 皮肤镜图像和 2,594 张 PNG GT 图像组成

在这里插入图片描述

  • 2D CoNIC
    • 图像来自 Lizard 数据集，它包括六个核类别（即 “上皮细胞”、“结缔组织细胞”、“淋巴细胞”、“浆细胞”、"中性粒细胞 "和 “嗜酸性粒细胞”）和一个 “背景”。
      在这里插入图片描述
  • 3D KiTS19
    • 总共公开提供了210张高质量的三维腹部计算机断层扫描图像的注释病人的图像
      在这里插入图片描述
  • 3D LiTS
    • LiTS提出了一个基于对比度增强的腹部计算机断层扫描的基准。LiTS包含130张用于训练的扫描图像和70张用于测试的扫描图像。
      在这里插入图片描述

3. Methods and Experiments

3.1. Pre-Training Model

预训练模型（即用预训练的权重作为模型微调的初始化参数）提供了有利的参数，这样训练收敛就容易加快，潜在的模型可以获得很强的泛化能力，不同的预训练模型有明显不同的影响。

现在使用的大体量的神经网络，要向从头训练到一个可以使用的程度，往往需要千万级别的数据集，而医学领域的数据又不容易获取（涉及病人隐私等问题），所以在医学图像分割任务中经常使用预训练权重。

预训练权重可以分为两个大类：完全监督的权重和自监督权重。

  • PyTorch official weights
    • 由 torchvision.models 提供的骨干预训练权重，这些预训练的权重是通过在 ImageNet 1k数据集上训练用于单标签图像分类任务的相应骨干网络而获得的，其中 1k 表示该数据集由 1000 个常见场景的类组成。
  • Model-oriented ImageNet 1k weights
    • 除了 PyTorch 官方预训练的权重，模型创建者通常也会在 ImageNet 上发布预训练的权重
    • 例如，面向模型的 ImageNet 1k 权重可以通过在 ImageNet 1k 数据集上训练 ResNet-50 进行图像分类而获得
  • Model-oriented ImageNet 21k weights
    • ImageNet 21k 是一个更加通用和全面的数据集版本，它总共有大约 21,000 个对象类别，用于（弱监督或半监督或完全监督）图像分类。
    • 因此，ImageNet 21k 上的训练权重更有利于提高下游计算机视觉模型的识别性能
  • SimCLR weights
    • SimCLR 证明了在图像表征和对比学习损失之间引入可学习的非线性转换可以极大地提高模型的表征质量
    • 三个实施步骤
      • 首先将输入图像分组为一些 image patches
      • 然后对不同批次的 image patches 实施不同的数据增强策略
      • 最后对模型进行训练，以获得同一 image patches 不同增强后的相似结果，并相互排除其他结果
  • MOCO weights
    • MOCO 是经典的自我监督对比学习方法之一
    • 它旨在解决存储体中采样特征不一致的问题
  • Model genesis (ModelGe) weights
    • ModelGe 是一种先进的自我监督的模型预训练技术，通常由四种变换操作（non-linear, local pixel shuffling, out-painting, and in- painting）组成，用于计算机断层扫描和磁共振成像图像的单幅图像修复

在这里插入图片描述

3.2. Data Pre-Processing

由于深度 CNN 的 3D 医学图像的数据特异性，数据预处理对于获得令人满意的识别性能是很有必要的。在本小节中主要讨论 3DUNet 中常用四种图像预处理技术的有效性。这四种策略分别为：patching , oversampling(OverSam) , resampling (ReSam) , and intensity normalization (IntesNorm)

  • Patching
    • 一些特定类型的医学图像（例如磁共振图像和病理图像）其往往在空间尺寸上非常大，并且在定量方面缺乏足够的样本。因此无法使用这些图像直接训练医学图像分割样本。
    • 通常的做法是将这个图像重新采样为较小空间尺度的不同 image patches，从而可以用更少的 GPU 内存成本来实现这个模型，并且可以更好的训练这个模型。
    • 具体来说 Patch 的大小是影响模型性能最重要的因素之一。
  • OverSam
    • 为了解决正负样本之间的类不平衡问题，过采样策略得以提出。
    • OverSam 策略主要用于少数样本类。
    • 目前存在的过采样策略包括：random oversampling, syn- thetic minority oversampling (SMOTE), borderline SMOTE, and the adaptive synthetic sampling
  • ReSam
    • 重采样策略通过机器学习模型提高所用数据集的表示能力。由于可用的样本能力有时是有限和异构的，因此可以通过随机OR非随机重采样策略获得更好的子样本数据。
    • 在其实现过程中，重采样主要包括4个步骤：
      • 间距插值
      • 窗口变换
      • 获取有效的掩码范围
      • 子图像的生成
  • IntesNorm
    • IntersNorm 是一种特定的标准化策略，主要用于医学图像。通常是有两种方法
      • 所有模态的 Z-Score
      • 计算机断层扫描图像

在这里插入图片描述

3.3. Data Augmentation

对于医学图像，数据增强通常用于处理定量训练样本不足的问题，可以用来缓解过拟合问题，赋予模型强大的泛化能力，并赋予鲁棒性。

用于MedISeg的数据增强方案主要可分为以下两类：基于几何变换的数据增强（GTAug），以及基于生成对抗网络（GAN）的数据增强（GANAug）

  • GTAug
    • GTAug 被提出用于消除训练图像中某些几何对象变化的影响，例如位置、比例和视角
    • 普遍使用的 GTAug 包括翻转、裁剪、旋转、平移、颜色抖动、对比度、模拟低分辨率、高斯噪声注入、混合图像、随机擦除、高斯模糊、混合和剪切混合
  • GANAug
    • 数据增强的内在前提是将领域知识或其他增量信息引入训练数据集
    • GANAug 可以被视为一个损失函数，它专注于引导网络生成一些接近源数据集域的真实数据

在这里插入图片描述

3.4. Model Implementation

一个 MedISeg 模型通常由许多实现细节组成，每一个不受关注的变换都可能对性能产生潜在的影响。

本文选择了三类常用的实施技巧，并探索其分割的有效性。这三类是：深度监督（DeepS）；类平衡损失（CBL），包括四个损失函数（CBLDice, CBLFocal, CBLTvers and CBLWCE）；在线硬例挖掘（OHEM）；以及实例规范化（IntNorm）

  • DeepS
    • 深监督是一种辅助学习技巧。它通过直接或者间接的方式在一些中间隐藏层添加辅助分类器或者分割器来实现，从而对骨干网络进行监督，它可以用来解决梯度消失或者收敛速度慢的问题，而对于图像分割，这个技巧通常通过添加图像级分类损失来实现的。
  • CBL
    • CBL 通常用于学习一般类权重，即每个类的权重仅与对象类别相关。与类不平衡数据集上的一些传统分割损失函数（例如，交叉熵损失）相比。CBL 可以提高模型的表示能力。
    • 在使用的数据集中，CBL 引入有效样本数来表示所选数据集的预期体积表示，并根据有效样本数而非原始样本数对不同类别进行加权。
  • OHEM
    • OHEM的核心思想是首先通过损失函数过滤掉一些困难学习样本（即图像、对象和像素）。这些选定的困难样本都对识别任务有很大影响。
    • 然后，将这些样本应用于模型训练过程中的梯度下降。
  • IntNorm
    • IntNorm 是一种流行的标准化算法，适用于对单个像素有更高要求的识别任务。在其实现中，在计算统计归一化时，考虑了每个单个样本和样本的单个通道的所有元素。
    • 在医学图像领域，使用 IntNorm 的一个重要原因是，在训练过程中，批次大小通常被设置为一个较小的值（尤其是对于3D图像）。

在这里插入图片描述

3.5. Model Inference

使用推理技巧是提高识别性能的一个重要策略，本文中主要探讨两种常用的推理技巧即测试时间增强（TTA）和模型集成（Ensemble）

  • TTA.
    • TTA 是目前在模型推理阶段流行的一种数据增强机制，用于提高模型的准确性。TTA可以用来提高识别性能而不需要训练，所以它有可能是一个即插即用的工具。同时，它可以提高模型校准的能力，这对视觉任务是有益的。
  • Ensemble.
    • Ensemble 策略旨在联合多个训练有素的模型，基于一定的合集机制在测试集上实现多模型融合的结果，这样最终的结果可以从每个训练有素的模型中学习，提高整体泛化能力
    • 常用的模型 ensemble 方法有 voting, averaging, stacking, and non-cross-stacking (blending)

在这里插入图片描述

3.6. Result Post-Processing

后处理操作的目的是通过不可学习的方法来提高模型性能，例如可以通过聚集全局信息来细化分割结果。包括两种结果后处理方式为最大分量抑制（ABL-CS）和小面积去除（RSA）

  • ABL-CS
    • ABL-CS旨在基于生物体物理特性的知识去除分割结果中的一些错误区域
  • RSA
    • 在医学图像分割领域中成像协议通常不变，因此每个实例分割掩模的面积也保持不变。基于此物理特性，我们可以设置像素级阈值，以移除所获得的分割掩模中太小（即，低于给定阈值）的一些实例掩模。

在这里插入图片描述

总结

博客参考

zzzyzh
关注
  • 2
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
Deep Learning Techniques for Medical Image Segmentation: Achievements and Challenges
u013313168的专栏
02-12 647
前言： 该篇文章较为全面但稍偏简单的介绍医学图像分割的常见数据集、各种神经网络，以及常见的训练技巧等问题。 一、重点摘录 2.5D approaches are inspired by the fact that 2.5D has the richer spatial information of neighboing pixels wiht less computational costs t...
【医学影像系列：二】2019 综述阅读 Going Deep in Medical Image Analysis:Concepts, Methods, Challenges and Future
鹿鹿的博客
05-26 2325
2019 arXiv Going Deep in Medical Image Analysis:Concepts, Methods, Challenges and Future Directions Method 医学图像分析主要包含的模式识别任务是 检测/定位、分割、配准、分类。常见的医学影像包括 Brain、Breast、Eye、Chest、Abdomen等。 检测/定位 分...
用于医学影像处理的深度学习：概述，挑战和未来.pdf
04-03
用于医学影像处理的深度学习：概述，挑战和未来 Deep Learning for Medical Image Processing: Overview, Challenges and Future Muhammad Imran Razzak
Deep Learning for Medical Image Segmentation: Tricks, Challenges and Future Directions 2D部分代码笔记-训练部分
rhdthfg的博客
11-09 600
这篇博客将说明《Deep Learning for Medical Image Segmentation: Tricks, Challenges and Future Directions》这篇论文所提供的2DUnet训练部分代码的一些理解，包括整体架构，部分模块含义以及论文中提到的一些训练技巧在代码中的体现
Deep Learning for Medical Image Analysis
01-31
Foreword Computational Medical Image Analysis has become a prominent field of research at the intersection of Informatics, Computational Sciences, and Medicine, supported by a vibrant community of researchers working in academics, industry, and clinical centers. During the past few years, Machine Learning methods have brought a revolution to the Computer Vision community, introducing novel efficient solutions to many image analysis problemsthat had long remained unsolved.For this revolution to enter the field of Medical Image Analysis, dedicated methods must be designed which take into account the specificity of medical images. Indeed, medical images capture the anatomy and physiology of patients through the measurements of geometrical, biophysical, and biochemical properties of their living tissues. These images are acquired with algorithms that exploit complex med- ical imaging processes whose principles must be well understood as well as those governing the complex structures and functions of the human body. The book Deep Learning for Medical Image Analysis edited by S. Kevin Zhou, Hayit Greenspan, and Dinggang Shen, top-notch researchers from both academia and industry in designing machine learning methods for medical image analysis, cov- ers state-of-the-art reviews of deep learning approaches for medical image analysis, including medical image detection/recognition, medical image segmentation, medi- cal image registration, computer aided diagnosis and disease quantification, to name some of the most important addressed problems. The book, which starts with an in- troduction to Convolutional Neural Networks for Computer Vision presents a set of novel deep learning methods applied to a variety of clinical problems and imaging modalities operating at various scales, including X-ray radiographies, Magnetic Res- onance Imaging, Computed Tomography, microscopic imaging, ultrasound imaging, etc. This impressive collection of excellent contributions will definitely se
Deep Learning for Medical Image Analysis 无水印pdf
09-27
Deep Learning for Medical Image Analysis 英文无水印pdf pdf所有页面使用FoxitReader和PDF-XChangeViewer测试都可以打开 本资源转载自网络，如有侵权，请联系上传者或csdn删除 本资源转载自网络，如有侵权，请联系上传者或csdn删除
论文阅读——Deep learning for cardiac image segmentation: A review
01-07
Deep learning for cardiac image segmentation: A review 时间：2019.11 作者：帝国理工/伦敦大学/伯明翰大学 links:https://arxiv.org/abs/1911.03723 医学图像分割综述，从FCN（2014）-DenseUNet(2019) 相关...
A survey on shape-constraint deep learning for medical image se
09-23
形状约束深度学习（Shape-Constrained Deep Learning）是这一领域的热点研究方向，它结合了形状先验知识与深度学习的优势，提高了医疗图像分割的精度和稳定性。本文将对这一主题进行深入探讨。 一、形状约束深度...
Deep Learning for Medical Image Analysis- Academic Press (2017).pdf
05-11
Deep learning is providing exciting solutions for medical image analysis problems and is seen as a key method for future applications. This book gives a clear understanding of the principles and ...
A Reinforcement Learning Framework for Medical Image Segmentation.pdf
06-29
image segmentation using a reinforcement learning scheme. We use this novel idea as an effective way to optimally find the appropriate local thresholding and structuring element values and segment the...
Deep_Learning_for_Medical_Image_Processing.pdf
03-19
Deep_Learning_for_Medical_Image_Processing Muhammad Imran Razzak, Saeeda Naz and Ahmad Zaib
Deep Learning for Image Processing Applications
09-17
Deep learning and image processing are two areas of great interest to academics and industry professionals alike. The areas of application of these two disciplines range widely, encompassing fields such as medicine, robotics, and security and surveillance. The aim of this book, Deep Learning for Image Processing Applications, is to offer concepts from these two areas in the same platform, and the book brings together the shared ideas of professionals from academia and research about problems and solutions relating to the multifaceted aspects of the two disciplines. The first chapter provides an introduction to deep learning, and serves as the basis for much of what follows in the subsequent chapters, which cover subjects including: the application of deep neural networks for image classification; hand gesture recognition in robotics; deep learning techniques for image retrieval; disease detection using deep learning techniques; and the comparative analysis of deep data and big data. The book will be of interest to all those whose work involves the use of deep learning and image processing techniques.
【arXiv2303】Learning with Explicit Shape Priors for Medical Image Segmentation
最新发布
m0_61899108的博客
06-12 3901
基于UNet的网络在医学图像分割领域逐步占据主导地位。然而，卷积神经网络（CNNs）面临两个限制： CNN感受野有限，无法对器官或组织的长期依赖或全局关系进行建模。 分割掩码很大程度上依赖于最终分割头的训练。 现有的方法不能很好地同时解决这两个限制。因此，本文提出了一种新的形状先验模块（SPM），它可以引入形状先验来提高基于UNet的模型的分割性能。显式形状先验由全局形状先验和局部形状先验组成。 具有粗略形状表示的全局形状先验为网络提供了对全局上下文建模的能力。 局部形状先验具有更精细的形状信息，可以作
[医学多模态融合系列 -1] A review: Deep learning for medical image segmentation using multi-modality fusion 解读
qq_38736504的博客
12-15 1387
多模态广泛应用于医学成像，因为它可以提供关于目标（肿瘤、器官或组织）的多信息。使用多模态的分割包括融合多信息以改进分割。
《MICCAI2019》Learning Cross-Modal Deep Representations for Multi-Modal MR Image Segmentation
码农小菜鸡
02-12 1385
传统CNN的多模态MR图像分析通常是一层或者多层的简单融合（通过简单的求和或者拼接） 针对上述问题，本文的创新点： 在监督的情况下进行图像的融合，即根据不同模式的信息来进行特征选择 具体步骤：挑选不同模式中对预测结果贡献程度最大的作为主模式，并且以此监督其他模式下的信息选择 背景： 不同模态对于病变的检测侧重点不同，存在局限性： 1.contrast-enhanced MRI：检测乳腺病变具有很高...
[医学图像分割综述] Medical Image Segmentation Using Deep Learning: A Survey
热门推荐
qq_38932073的博客
04-02 3万+
本综述有两个独创之处，首先，与传统的调查方法直接将医学图像分割的文献划分为多个组，并对每个组详细介绍文献的方法相比，我们将目前流行的文献按照从粗到细的多层次结构进行分类。其次，本文重点研究了监督学习和弱监督学习方法，但未包括无监督方法，这种方法目前在医学图像领域并不流行。对于监督学习方法，我们从骨干网络的选择、网络块的设计和损失函数的改进三个方面对文献进行了分析。对于弱监督学习方法，我们分别根据数据增强，迁移学习和交互式分割研究文献。与已有的调查相比，本次调查的文献分类与以往有很大的不同，更便于读者了解相关
《Deep Learning for Medical Image Analysis》学习记录
高山流水
08-13 449
《Deep Learning for Medical Image Analysis》学习记录 文章目录《Deep Learning for Medical Image Analysis》学习记录前言目录翻译 前言 入门医学图像处理，特开贴记录学习过程。 Deep Learning for Medical Image Analysis是入门非常好用的一本书。 资源分享:百度云连接 提取码:1234 如果链接失效了可以评论区留下邮箱 目录翻译 ...
[论文阅读] Multi-task Attention-Based Semi-supervised Learning for Medical Image Segmentation
xiongxyowo的博客
07-11 797
[论文地址] [代码] [MICCAI 19]我们提出了一种新型的半监督图像分割方法，它同时优化了监督分割和无监督重建目标。重建目标使用一种注意力机制，将对应于不同类别的图像区域的重建分开。所提出的方法在两个应用中进行了评估：脑瘤和白质超密集区的分割。我们的方法在未标记的和少量标记的图像上进行训练，其表现优于用相同数量的图像训练的有监督的CNN和在未标记的数据上预训练的CNN。在消融实验中，我们观察到，所提出的注意机制大大改善了分割性能。我们探索了两种多任务训练策略：联合训练和交替训练。交替训练需要较少的超
基于形状先验的分割方法
lovely_smile的博客
09-06 1214
1.Combining convolutional neural networks and star convex cuts for fast whole spine vertebra segmentation in mri 2.Star-convex polyhedra for 3d object detection and segmentation in microscopy 3.Deep convolutional neural networks with spatial regularizatio
medical image segmentation using deep learning: a survey
04-11
Q: "医学图像分割使用深度学习：一项调查"。 A: 这是一篇介绍如何使用深度学习进行医学图像分割的调查文章。它讨论了医学图像分割的挑战和深度学习的优点，同时回顾了最近使用深度学习进行医学图像分割的研究成果。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

zzzyzh

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值