（二：2020.07.08）nnUNet方法解析（7.31更新认识）

---

写在前面（更新于07.27，由于最近在对推理部分进行加速，更新的有点慢，今天添加一些最近的新理解。紫色字体为更新的认识）

1.本文是对该论文涉及的Methods进行解读和理解，参考上一篇的解读论文主体解读
2.红色是理解困难部分，正在进行结合附录、第一版nnunet论文、源码进行理解
3.绿色是提到附录的部分
4.橙色是本文关键字
5.蓝色是抛出的问题

---

Methods (该部分提到的设计规则可以在附录B中查看)

---

• 1.“数据指纹”
  • ① 整个训练的第一步是将即将要训练的数据集的前景给抠出来（作者在这里说这个操作对于他们实验的数据来说没有影响，这可能是我在进行预处理时看到前后的图像尺寸没有变化的原因）；
  • ② nnUNet根据这个得到的crop，来抓取它的相关参数和属性，来组成这个数据指纹，这些参数和属性包括：
    • Ⅰ. image_size： 每个空间维度上的体素的个数；
    • Ⅱ. image_spacing：每个体素的物理体积大小；
    • Ⅲ. 模态：头文件获取到的信息；
    • Ⅳ. 类别数：比如我是做单纯的二分类还多分类；
    • Ⅴ. 此外，还包括在所有训练案例上计算得到平均值、标准差以及属于任何标签的体素的灰度值的99.5%和0.5%
      • 这部分灰度值的记录在plan.pkl中可以找到，简单的理解就是做归一化的一种行之有效的方式，通过找到训练集中每一套CT的前景像素值进行全局归一化。（具体我会继续研究）

---

• 2.“管道指纹”
  • nnUNet将所有应该进行设计的参数缩减到必要的那几个，并且使用启发性规则对这些参数进行推理，该规则集成了很多行业内专业的知识，同时对上面提到的“数据指纹”和本地的硬件约束都能起到作用。
  • 这些得到的推理参数被两种参数所完善：
    • 第一种：蓝图参数，具有数据独立性，不同数据的该参数不同；
    • 第二种：经验参数，训练期间被优化

---

• 3.“蓝图（计划）参数”
  • 一、结构模板：
    • nnUNet配置的这几个不同的网络结构都来自于相同的网络模板，这个模板和原始的UNet及其3D版本十分的相近。我们的理论认为，一个配置完好的nnUNet仍然很难被打败，我们提出的网络架构没有使用任何最近十分流行的网络结构，只是进行了一点相对前者那种大刀阔斧的改动来说小的多的改变。为了适应更大的patch_size，nnUNet把网络的batch_size设计的更小。事实上，大多数3D-Unet的batch_size都只有2（参见附录E.1a）。Batch_normalization是用来干什么的呢？BN是用来加速训练同时保持训练稳定的，小的batch_size往往无法体现BN的价值。针对这种情况，我们所有的nnUNet的架构都使用了instance_normalization。更进一步的，我们用Leaky_Relu代替Relu（负轴上斜率为0.01）。
  • 二、深监督训练：
    • 1.网络结构的一些改变：.除了解码阶段的最底下两层，我们给解码器的每一层都加了额外的损失，这样使得梯度信息能够更深层的注入网络，同时促进网络中所有层的训练。所有的Unet网络在同一个像素层次上，都用的一样的操作，无论是编码区还是在解码区（都是一个卷积 + 一个instance_normalization + Leaky_Relu）。下采样是一个具有步幅长度的卷积，上采样是一次卷积的转置操作。为了平衡训练效果和显存消耗，最初的feature_map的大小被设定为32，如果要做一次下采样那么这个大小缩小一半，如果做上采样则会变成原来的两倍。为了限制最终生成的模型的大小，feature_map的数量也被做了一定的限制，比如，3D_Unet被限制在320而2D_Unet被限制在512。
    • 2.训练时间表：
      • Ⅰ.根据以往的一些经验，同时为了增加训练的时效性，我们用一轮大于 250的mini_batch，来把网络训练1000轮。随机梯度下降的方法采用μ = 0.99的nesterov的梯度下降，同时初始学习率为0.01.学习率的衰减遵循poly原则，即
        $$(1-epoch/epoc{h}_{max}$$