3D U-Net: Learning Dense Volumetric Segmentation from Sparse Annotation

Refs: 3D U-Net: Learning Dense Volumetric Segmentation from Sparse Annotation

1.简介

• 目的：对稀疏标签的立体图像进行分割。
  - 半自动化：标记一部分slices，网络根据稀疏的标记自动学习一个稠密分割网络。
  - 全自动化：选择有代表性的稀疏标记训练集已经训练好的网络，其可以在新的未标记的3D图像上进行稠密分割。
  

• 方法：本文提出的网络将U-net架构中的2D操作全都替换成3D。此实现有效地在训练时进行数据增强，并且是端对端无需预训练网络。

• 效果：在复杂、高度可变的3D结构中进行了测试，Xenopus kidney在两种cases上取得了不错的结果。

2.相关

• 3D医学数据标记困难，重复性工作较多，对3D图像每个图像都进行标记不是个有效的方法。
• 在许多生物医学应用中，只需要很少的图像就可以训练出一个能够很好地泛化的网络。这是因为每个图像已经包含了重复的结构，并具有相应的变化。3D图像更是这样。
• 加权损失函数和特殊的数据扩充使我们能够只用很少的已标记的slices来训练网络。

3.网络结构

• The input to the network is a 132132116 voxel tile of the image with 3
  channels. Our output in the nal layer is 444428 voxels in x, y, and z directions
  respectively. With a voxel size of 1.761.762:04um3, the approximate receptive
  eld becomes 155155180um3 for each voxel in the predicted segmentation.
  Thus, each output voxel has access to enough context to learn eciently.
• 数据：three samples of Xenopus kidney embryos
• 标签：labels 0: inside the tubule; 1:tubule; 2: background, and 3: unlabeled.
• 输入样本：the data sizes used in the experiments are 24824464, 24524456 and24624459 in xyz dimensions for our sample 1, 2, and 3。
• 70000训练迭代次数，3天

4.实验

• The IoU is dened as true positives/(true positives + false negatives + false positives).
• 半自动化分割：通过标记一部分来分割整个图
  - 与纯2D实现进行对比
  
  • slices个数影响
    
  • 全自动分割：使用两个部分标注的图像训练，分割第三个图像。