Beyond the Pixel-Wise Loss for Topology-Aware Delineation

Abstract

计算机视觉中的曲线结构的勾画（Delineation of curvilinear structures）问题在很多实际应用中都非常重要。之前的工作都使用像素损失（BCE），作者认为，只使用像素级的损失不适合这类的问题，因为它们无法在最终预测中反映错误的拓扑影响，所以我们提出了一个新的损失项。此外，我们还提出了一个 refinement pipeline(反复使用相同的模型，在每次迭代中进行预测，同时保持参数的数目和模型的复杂度不变——共享相同的参数和网络结构)。

1. Introduction

作者认为，之前的BCE损失函是局部的损失，并不能考虑非常复杂的拓扑结构。如图©(d)表明，小的局部像素错误可能会导致较大的拓扑变化。

道路提取的网络可以参考生物分割中视网膜的分割网络。

3. Method

我们使用全卷积的U-Net作为训练模型，但是这个损失函数（BCE）只是一个局部的操作，并不考虑曲线结构的整体几何形状。

3.1. Notation

WxW的输入图像

Ground Truth label（1表示曲线结构中的像素，0表示背景像素）

f:使用权重W参数化的U-Net

网络的输出
网络输出的每个元素（像素i具有标签为1的概率，Yi是随机伯努利变量）

3.2. Topology-aware loss

在普通的图像分割问题中，用于训练网络的损失函数通常是标准的像素级二进制交叉熵（BCE）：
此损失函数独立对待每个像素，它不捕获拓扑特征。

因此，我们在损失函数中引入惩罚项，以解决这一高阶信息。 我们利用预先训练的网络包含的有关真实图像结构这一特性。 特别是，我们在ImageNet数据集上预先训练的VGG19网络[26]的多个层上使用了特征图，作为描述轮廓的高级特征的描述。
我们的新惩罚项试图使Ground Truth图像的VGG19描述器与相应的预测轮廓之间的差异最小化。

预训练的VGG1９网络第ｎ层中的第m个特征图，N是卷积层数，Mn是第n层中的通道数目，每个大小是Wn x Hn。

图3可以看出VGG19在此任务中表现出色的原因。

最终，我们最小化L(x，y，w)

3.3. Iterative refinement

之前的策略都是为每个迭代k训练了一个不同的模块f^k，从而增加了模型参数的数量，并使训练对所需标记数据的数量要求更高。

⊕表示通道concatenation，为简单起见，我们省略了 f^k 的权重。 假设每个模块 f^k 在y上都是Lipschitz连续的，(Lipschitz连续性是以下假设的直接结果：每个f^k都会始终改善前一次迭代的预测)，我们知道

收敛于y.

我们将模块的输入规模保持固定，以便利用网络的能力来纠正其自身的错误。 我们表明，它有助于网络学习收缩（contraction）图，从而逐步改善估计值。 因此，我们的预测模型可以表示为

其中K是迭代总数，yˆ K是最终预测。 我们用空预测yˆ 0 = 0初始化模型。

我们不仅使最终网络输出的loss最小，还使部分loss的加权总和最小。 第k个局部模型(k<=K)，是迭代方程6 k次获得的模型。 第k个部分loss L^k是公式3评估第k个部分模型所得到的值。 使用这种表示法，我们将最终损失（refinement loss）定义为部分损失的加权总和

Z是正则化因子，

但是，考虑到较早的损失，网络可使网络从沿途可能犯的所有错误中吸取教训，并提高数值稳定性，它还避免了在将预测重新注入计算之前必须对其进行预处理。
在实践中，我们首先训练单个模块网络，即K =1。然后，我们递增K，进行重新训练和迭代。在训练和测试期间，我们将K限制为3，因为对于较大的K值，结果不会显着变化。 我们将证明这成功地填补了小间隙的空白。

4. Results