【论文精读】Label-driven Weakly-supervised DLIR

YipengHu/label-reg Label-driven Weakly-supervised

---

Weakly-Supervised Dense Correspondence Learning

弱监督学习的思想是使用表示相同解剖结构的分割标签进行监督学习。由于配准网络的目的是回归预测一个变形场（Dense Displacement Field, DDF），然而几乎没有变形场的真实标签。我们在训练中使用分割标签作为监督训练，而不是使用真实的 DDF 标签，所以这被称为弱监督学习。

The idea of the weakly-supervised learning is to use labels that represent the same anatomical structures. While the goal of registration is predicting DDF which we do not have ground-truth data for, the method is considered as “weakly-supervised” because the anatomical labels are used only in training. They are treated as if they are the “target labels” instead of “input predictors” in a classical regression analysis.

在训练时，网络的输入是浮动图像和固定图像，不需要输入任何标签，网络预测的 DDF 用于扭曲浮动图像的分割标签，并将扭曲后的与固定图像的分割标签做相似性比较（DICE、CE），而不是直接通过体素强度相似性度量浮动图像和固定图像的配准效果，这是另辟蹊径。如图：

在预测时，经过训练之后的网络可以直接输入一对浮动图像和固定图像进行 DDF 预测和配准，不需要再用到分割标签，所以这个配准流程是自动化的、不需要分割标签辅助配准，如图：

Label Similarity Measures

如果我们有像图像体素一样小的 landmark 在图像域中密集分布，那么学习变形场（ DDF）就成为一个有监督的学习问题。问题在于代表相应结构的分割标签本质上是稀疏的。在训练样本中，相同的分割结构并不总是出现在运动图像和固定图像上；即使都出现，分割标签往往只覆盖部分器官，不涵盖整个图像域，也不涵盖详细的体素对应关系。

If we had landmarks as small as image voxels densely populated across the image domain, learning dense correspondence (also represented as DDF) becomes a supervised learning problem. The challenge is that anatomical labels representing corresponding structures are inherently sparse. Among training cases, the same anatomical structures are not always present on a moving image and on a fixed image; when available, they neither cover the entire image domain nor detailed voxel correspondence.

我们使用对标签进行空间平滑的可微 multi scale Dice 的有效实现来处理标签稀疏性。实现的多尺度 Dice 的入口函数是 multi_scale_loss：losses.py。虽然 multi scale Dice 的使用失去了对弱对应标签上假设的统计分布的直观解释，但在实践中作为损失函数运行良好。

Deformation Regularisation

由于标签的稀疏性，预测变形场的正则化至关重要。借鉴传统图像配准算法中使用的正则化策略以及经典力学中的正则化策略，除了标签相似性度量外，还对整个位移场的平滑度进行了惩罚。本质上，这些函数基于位移 w.r.t. 的一阶和/或二阶导数来衡量 DDF 的不平滑程度。实现默认 regulariser_type 弯曲能量的主要函数可以在 losses.py 中的 compute_bending_energy 中找到，以及其他正则化选项。

Discussion

只要是驱动图像对齐的，任何损失函数都是合理的，所以使用 Dice + 正则化损失或者其它的度量函数的加权组合作为损失函数不能说明这是有或无或弱监督的。

所谓“弱监督“实际可能是损失函数不依赖于图像模态，仅应用于分割标签。这在一定程度上更接近于传统的基于特征的配准方法，而神经网络的作用是更好地学习特征表示的方法。它还反映了这样一个事实，即与其他无监督学习相比，这种方法依赖于人工标注的解剖知识，而不是图像匹配的统计特性（例如，通过基于图像体素强度的相似性度量）。

标签可用性也应该有物理界限，部分原因是底层成像过程根本不产生体素级对应信息，部分原因是解剖知识有限。Dice 再加上其他基于强度的相似性度量相结合可能会提供进一步的帮助。