M3D-NCA: Robust 3D Segmentation with Built-In Quality Control论文速读

M3D-NCA: Robust 3D Segmentation with Built-In Quality Control

摘要

这是关于医学图像分割的一篇论文的结构化总结：

1. 背景和挑战：

   • 医学图像分割依赖于大型深度学习模型，但其高计算需求限制了在资源受限环境中的应用。
   • 图像领域的变化可能导致模型失效，而未检测到的错误可能会危及患者安全。

2. 方法介绍：

   • 提出了M3D-NCA，一种利用神经细胞自动机（NCA）分割3D医学图像的新方法。
   • 使用n级块化对图像进行预处理。
   • 利用M3D-NCA中的差异性开发了一种新的质量度量，可自动检测NCA分割过程中的错误。

3. 实验结果：

   • M3D-NCA在海马体和前列腺分割方面比两个规模更大的UNet模型提高了2%的Dice系数。
   • M3D-NCA可以在树莓派4 Model B（2 GB RAM）上运行，表现出在资源受限环境中的高效性。

4. 结论：

   • M3D-NCA显示出作为医学图像分割的有效和高效替代方案的潜力，尤其适用于资源受限的环境。
     代码地址

方法

Fig. 1. M3D-NCA轻量级，参数数量少于13k，并可在2 GB RAM 上运行。随机性使其具有伪集成效应，提高了预测性能。此方差还允许计算一个分数，指示预测质量。

作者的核心设计原则是尽量减少M3D-NCA的VRAM需求。对于大于100×100的图像，使用简单的NCA实现，特别是对于三维配置，很快就会超过40GB的VRAM。M3D-NCA的训练在输入图像的不同尺度上进行，其中应用相同的模型架构m。首先将输入图像按因子d乘以层数n进行降采样。例如，如果输入尺寸为320×320×24，降采样因子为d = 2，n = 3，那么图像将被降采样为40×40×3。由于d和n呈指数级减小图像尺寸，大图像变得易于管理。在最小的尺度上，第一个NCA模型m1被迭代s步，初始化在最小的尺度上进行分割。该模型的输出通过因子d进行上采样，并与相应的高分辨率图像块连接起来。然后，选择一个大小为40×40×3的随机图像块，下一个模型m2再次迭代s次。重复此块化步骤n-1次，直到达到最高分辨率的级别。然后，对剩余的最后一个图像块和相应的地面实况图像块执行dice损失。通过更改降采样因子d和层数n，可以精确控制训练所需的VRAM。
为了解决训练NCA模型时的不稳定性问题，作者采用了批量复制的方法。这意味着相同的输入图像在每个批量中多次出现。尽管这限制了每个堆栈中的图像数量，但极大地提高了收敛稳定性。
此外，作者利用NCAs的随机性，执行训练模型10次并对输出进行平均，以实现伪集成效果。通过这种方式，可以利用NCAs多个有效分割掩模的特性，提高了模型的鲁棒性。在图像分割中，作者还提出了一种新的质量度量方法，可自动检测分割过程中的错误。

实验结果