利用持续同调在基于深度学习的分割框架中引入显式的拓扑学约束

在基于深度学习的图像分割中利用持续同调引入显式拓扑学约束

Motivation

目前主流的图像分割框架都是类似全卷积方式的多尺度框架(U-Net等), 虽然他们能够利用图像邻域关系来辅助逐像素的分割,但是损失函数依然只独立地考虑每个像素点, 并不能考虑高阶的拓扑学结构. 因此往往会导致即使有比较低的逐像素的loss, 然是会造成拓扑学结构的改变, 从而带来分割结果的显著恶化(断裂或空洞等现象). --> 因此需要一种 topological-aware 的 loss function.

现有的引入拓扑学约束的图像分割框架

正是因为在 deep learning 的框架中需要反向传播, 所以拓扑约束的可微性 (differentiable) 决定了现有拓扑约束方法只能隐式结合到 deep learning-based 分割框架中. --> 导致不能显示的控制到底学习到了什么样的拓扑特征 (比如上图显然是需要一个圆环结构). 具体来说有下面几种方法:

1. 专门设计另外一个网络来处理分割结果和金标准之间的拓扑学差异 (Beyond the pixel-wise loss for topology-aware delineation).
2. 用自动编码器定义loss function (Anatomically constrained neural networks)
3. 类似于修正adjacency关系的工作

创新点

引入拓扑数据分析的持续同调方法 (Persistent homology) 来量化图像中所有拓扑特征的稳定性. 在此基础上提供逐像素的拓扑损失函数, 来增加或者减少分割中所需要的拓扑结构的 persistence. 以这样的方式就可以确保拓扑损失函数的可微性, 并且容易将其集成到现有的分割框架中, 而不用对网络进行专门的设计.

方法

1. 持续同调
   
   简单理解上述持续同调技术: 不同阈值会得到不同的利用 Betti 数计算的拓扑特征, 随着阈值取的慢慢变化, 造成拓扑结构的生成和消逝. 对于特定拓扑结构其生成和消逝的阈值范围即其生命周期, 也就是所谓的 persistence.
2. 拓扑学的逐像素梯度
   
   这里注意本篇文章的局限性出来了, 即只能做给定的拓扑形状 (给定的 Betti number), 然后根据对应的 persistence bar的长度来迭代式的调整那些像素需要被修正 (即上面的 S 矩阵改变和 G 矩阵调整的过程).

总结

其实本文的创新性还是值得肯定的, 第一个以可微的方式将拓扑约束引入 deep learning 优化框架中. 但是其局限性也很明显, 就是只能处理具有比较强的先验知识的分割案例 (如上面所示的具有环状结构的心肌组织). 因此在通用性上, 如果能够用一种方法从任意的图像中学到某些通用的拓扑特征 (并不是给定的 Betti number) 可能对该方法的更广泛的应用具有更好的意义.

PS:

关于持续同调的详细讲解感兴趣的小伙伴可以参考 https://www.youtube.com/watch?v=h0bnG1Wavag. 讲解还是挺详细的.