ICCV--Dynamic Snake Convolution 论文翻译

               

         本文主要对这篇论文进行翻译。

论文地址:

https://openaccess.thecvf.com/content/ICCV2023/papers/Qi_Dynamic_Snake_Convolution_Based_on_Topological_Geometric_Constraints_for_Tubular_ICCV_2023_paper.pdf

摘要

         准确分割拓扑管状结构，如血管和道路，对于各种领域都至关重要，可以确保下游任务的准确性和效率。然而，这项任务存在许多复杂因素，包括薄弱的局部结构和多样的全局形态，使其变得更加困难。在这项工作中，我们注意到管状结构的特异性，并利用这一知识来引导我们DSCNet在三个阶段同时增强感知能力：特征提取、特征融合和损失约束。首先，我们提出了动态蛇卷积，以准确捕捉管状结构的特征，通过自适应地关注细长和曲折的局部结构。随后，我们提出了一种多视角特征融合策略，以在特征融合过程中从多个角度补充注意力，确保保留来自不同全局形态的重要信息。最后，我们提出了一种基于持久同调的连续性约束损失函数，以更好地约束分割的拓扑连续性。在2D和3D数据集上的实验表明，与其他方法相比，我们的DSCNet在分割管状结构任务中提供了更好的准确性和连续性。

1 介绍

        在各个领域中，准确分割拓扑管状结构对于确保下游任务的精确性和效率至关重要。在临床应用中，明确定义的血管是计算血流动力学的重要前提，也有助于放射科医生定位和诊断病变[13, 16]。在遥感应用中，完整的道路分割为路径规划提供了坚实的基础。无论在哪个领域，这些结构都具有共同的特点，即细长且曲折，这使得由于它们在图像中的比例较小，捕捉它们变得具有挑战性。因此，迫切需要增强对细管状结构的感知能力。

        然而，由于以下困难，这仍然是一个具有挑战性的任务：

1. 细小而脆弱的局部结构：正如图1所示，细小的结构仅占整个图像的一小部分，像素组成有限。此外，这些结构容易受到复杂背景的干扰，使得模型难以精确区分微妙的目标变化。因此，模型可能难以区分这些结构，导致分割失败。

2. 复杂和多变的全局形态：图1展示了细管状结构的复杂和多变形态，即使在同一图像中也有差异。目标位于不同区域的形态变化很大，这取决于分支数量、分叉位置和路径长度。当数据呈现出前所未见的形态结构时，模型可能会过度拟合已经观察到的特征，导致在面对前所未见的形态结构时泛化能力较差。

         图1. 挑战。上图显示了一个3D心脏血管数据集和一个2D遥感道路数据集。这两个数据集的目标都是提取管状结构，但由于脆弱的局部结构和复杂的全局形态，这项任务面临挑战。动机。标准的卷积核旨在提取局部特征。基于这一基础，可变形卷积核被设计用来丰富它们的应用并适应不同目标的几何变形。然而，由于前面提到的挑战，要有效地专注于细管状结构是困难的。

最近，许多研究提出了将领域知识（例如几何拓扑和树结构）纳入模型中，以更好地引导模型感知管状结构的独特特征，从而专注于提高局部分割的准确性和保持全局形态的连续性。现有的方法可以大致分为三类：

1. 基于网络的方法：设计特定的网络架构，根据管状结构的特点引导模型专注于关键特征。然而，由于管状结构的比例较小，网络可能不可避免地失去对相应结构的感知。

2. 基于特征的方法：通过为模型提供额外的特征表示，增强对管状结构的特定几何和拓扑特征的理解。然而，一些冗余的特征表示可能会增加计算负担，但对模型没有积极影响。

3. 基于损失的方法：在训练过程中引入测量方法来补充约束，通常通过损失函数实现。这些方法强化了分割的严格约束。基于此基础，从拓扑角度出发的结构化损失与连续性约束可能会进一步提高管状结构分割的准确性。

为了克服上述障碍，我们提出了一种新的框架，DSCNet，涉及到管状感知卷积核、多视角特征融合策略和拓扑连续性约束损失函数。具体如下：

1. 解决薄弱而脆弱的局部结构挑战：为了应对模型难以关注的薄弱而脆弱的局部结构挑战，我们提出动态蛇卷积（DSConv），以自适应地关注管状结构的细小和弯曲局部特征，从而增强对几何结构的感知。与可变形卷积不同，可变形卷积使网络完全自由学习几何变化，导致感知区域漫游，尤其是在薄弱的管状结构上。我们的DSConv考虑了管状结构的蛇形形态，并通过允许有针对性地增强管状结构感知的约束，来补充自由学习过程。

2. 解决复杂和多变的全局形态挑战：为了应对复杂和多变的全局形态挑战，我们提出了一种多视角特征融合策略。在这种方法中，我们基于DSConv生成多个形态学核模板，以从不同角度查看目标的结构特征，并通过总结典型的重要特征来实现有效的特征融合。

3. 解决分割容易断裂的问题：为了解决管状结构分割容易断裂的问题，我们提出了一种基于持久同调（PH）的拓扑连续性约束损失函数（TCLoss）。PH响应于从出现到消失的拓扑特征过程，它从嘈杂的高维数据中获取足够的拓扑信息。相关的贝蒂数是描述拓扑空间中的连接性的一种方式。与以往方法不同，我们的TCLoss将PH与点集相似性相结合，引导网络专注于具有异常像素/体素分布的断裂区域，从拓扑角度实现连续性约束。

        总结一下，我们的工作提出了一个知识融合的新框架，解决了对薄弱的管状结构的困难，其具体贡献包括三个方面：（1）我们提出了动态蛇卷积，自适应关注细长和曲折的局部特征，实现了在2D和3D数据集上的精确管状结构分割。我们的模型在内部和外部测试数据上得到了充分验证。 （2）我们提出了一种多角度的特征融合策略，以增补对多个角度的重要特征的关注。 （3）我们提出了基于持久同调的拓扑连续性约束损失函数，更好地约束了分割的连续性。

2 相关工作

2.1. 基于网络设计的方法

已经提出了各种方法，通过根据管状结构的形态设计特定的网络架构和模块，以实现更好的性能。这些方法包括：

1. 基于卷积核设计的方法：这些方法以卷积核设计为基础，代表有著名的扩张卷积和可变形卷积。它们旨在处理CNN中固有的几何变换的限制，并在复杂的检测和分割任务中表现出优异的性能。这些方法还设计成能够动态感知对象的几何特征，以适应具有可变形态的结构。例如，在[12]中提出的DUNet将可变形卷积集成到U型结构中，并根据血管的尺度和形状自适应地调整感受野。

2. 基于网络架构设计的方法：这些方法旨在学习管状结构的特殊几何拓扑特征。PointScatter提出了用点集来表示管状结构，这是一种用于提取管状结构的替代分割模型的方法。另外，[14]提出了一种树状结构卷积门控循环单元，以显式地对冠状动脉的拓扑结构进行建模。与允许模型完全自由学习几何变化的方法不同，我们的工作将管状结构形态的领域知识集成到特征提取过程中，以稳定地增强对管状结构的感知。

2.2 基于特征融合的方法

        基于特征融合的方法加强了对管状结构的表示，通过向模型补充额外的特征信息。以下是一些基于特征融合的方法：

• 跨网络多尺度特征融合：[35]提出了一种跨网络多尺度特征融合方法，用于有效支持高质量的血管分割。这一方法通过两个网络之间的特征融合，以捕捉全局性的血管特征。

• 全局变换器和双重局部注意网络：[15]研究了一种全局变换器和双重局部注意网络，通过深浅层次的特征融合来同时捕捉全局和局部特征。

• 融合解剖学信息和血管拓扑：[33]提出了融合上下文解剖信息和血管拓扑信息的方法，以实现精确的管状结构分割。

        在我们的工作中，我们提出了一种多视角特征融合策略，以从多个角度增补对关键特征的关注。在这一策略中，我们基于我们的DSConv生成多个形态核模板，以从多个角度观察目标的结构特征，并通过总结基本标准特征来实现特征融合，从而提高我们模型的性能。

2.3 基于损失函数的方法

基于损失函数的方法引入测量方法来在训练过程中增加约束。这些方法加强了对管状结构分割的强约束。以下是一些基于损失函数的方法：

• 中心线Dice相似性：[24]引入了一种称为中心线Dice的相似性测量方法，它是基于分割掩膜和骨架的交集计算的。这种方法侧重于管状结构分割的连续性，但骨架的不准确性和偏移会影响约束的精度。

• Deep Distance Transform (DDT)：[29]提出了一种称为Deep Distance Transform (DDT)的几何感知管状结构分割方法，结合了传统的距离变换和管状结构分割的直观。这些方法专注于管状结构分割的连续性，但骨架的不准确性和偏移会影响约束的精度。

• 拓扑数据分析方法：[30]将拓扑数据分析方法与几何深度学习模型结合，用于对3D物体进行精细分割。这些方法能够捕捉拓扑对象的特征。

鉴于上述方法的启发，我们的工作提出了一种基于拓扑连续性的约束损失函数（TCLoss），从拓扑的角度更好地约束分割的连续性。我们的TCLoss在训练过程中逐渐引入基于持久同调的约束，以引导网络专注于断裂区域并实现连续性。

3 方法

        我们的方法旨在同时处理薄弱的管状结构的2D和3D特征图。为简化描述，我们的模块是在2D中描述的，同时我们在开源代码中提供了详细的3D扩展。这使得我们的方法适用于不同维度的图像和数据，从而更广泛地应用于管状结构的分割任务。

 图2. 方法。我们提出的方法的示意概述，以3D冠状动脉分割为例进行了说明。我们的方法包括三个部分：(1) 动态蛇卷积（DSConv），根据输入特征图学习变形，根据管状结构形态的知识自适应地聚焦于薄弱和弯曲的局部特征。(2) 多视角特征融合策略，基于我们的DSConv生成多个形态核模板，用于从多个角度观察目标的结构特征。(3) 损失函数，称为拓扑连续性约束损失函数（TCLoss），基于持久同调，引导网络专注于具有异常低像素/体素分布的断裂区域，并实现连续性约束。这三个部分协同工作，以提高管状结构的分割准确性和连续性。

3.1. Dynamic Snake Convolution

        在这一部分，我们将讨论如何执行动态蛇卷积（DSConv）以提取管状结构的局部特征。给定标准的2D卷积坐标为K，其中心坐标是Ki = (xi, yi)。具有扩张因子1的3x3核K表示为：

        为了使卷积核在复杂几何特征上具有更多的灵活性，受到[6]的启发，我们引入了变形偏移（∆）。然而，如果模型被完全自由地学习变形偏移，感知领域往往会偏离目标，特别是在处理薄弱的管状结构时。因此，我们使用了一个迭代策略（图3），依次选择每个要处理的目标的下一个要观察的位置，从而确保关注的连续性，不会因大的变形偏移而扩散感知领域太远。

        在DSConv中，我们使标准卷积核变得更加直线，既在x轴方向，又在y轴方向。我们考虑一个大小为9的卷积核，以x轴方向为例，K中每个网格的具体位置表示为：Ki±c = (xi±c, yi±c)，其中c = {0, 1, 2, 3, 4}表示距离中心网格的水平距离。在卷积核K中，每个网格位置Ki±c的选择是一个累积过程。从中心位置Ki开始，远离中心网格的位置取决于前一个网格的位置：Ki+1相对于Ki增加了一个偏移∆ = {δ|δ ∈ [−1, 1]}。因此，偏移需要累积，从而确保卷积核符合线性形态结构。在x轴方向，图3如下所示：

在y轴方向的方程式2如下所示：

由于偏移∆通常是分数，所以执行双线性插值，如下所示：

在方程2和方程3中，K表示一个分数位置，K'枚举所有整数空间位置，B是双线性插值核，它分为两个一维核，如下所示：

        如图3所示，我们的DSConv在变形过程中覆盖了一个9×9的范围，这是由于在二维（x轴，y轴）变化时发生的。DSConv旨在更好地适应细长的管状结构，基于动态结构来更好地感知关键特征。这种设计有助于DSConv更好地捕捉管状结构的关键特征。

图3. 左图：DSConv坐标计算的示意图。右图：DSConv的感受野。这两幅图展示了DSConv的坐标计算和感受野的示意。左侧图形解释了DSConv的坐标计算过程，右侧图显示了DSConv的感受野范围。感受野表示了在卷积过程中每个位置的输入像素对输出的影响范围。这些信息对于理解DSConv的工作原理至关重要。

3.2. 多视角特征融合策略

        这一部分讨论了如何实施多视角特征融合策略，以引导模型从多个角度补充关注关键特征。对于每个K，从第l层中提取两个特征图f_l(Kx)和f_l(Ky)，分别从x轴和y轴提取，表示为：

        在这个方程中，w(Ki)表示在位置Ki的权重，而由第l层卷积核K提取的特征是使用累积方法计算的。根据方程6，我们提取m组特征，表示为T_l，其中包含了DSConv的不同形态：

        多个模板的特征融合必然会引入多余的噪音。因此，在训练阶段引入了一个随机丢弃策略r_l（见图4），以提高我们模型的性能并防止过拟合，而不增加额外的计算负担，然后方程7变为：

        其中p是随机丢弃的概率，r_l符合伯努利分布。在训练阶段保存了最佳的丢弃策略，并在测试阶段引导模型融合关键特征。这种策略有助于提高模型的性能并确保在测试阶段合理地融合特征。

图4. 多视角特征融合策略。

3.3. 拓扑连续性约束损失

        在这一部分，我们将讨论如何基于持久同调实现拓扑连续性约束损失（TCLoss），以约束分割的连续性。复杂结构中的几何和拓扑信息对于帮助模型理解连续结构是至关重要的。我们采用了拓扑数据分析工具，以提取隐藏在复杂管状结构中的关键特征。

        我们的目标是构建数据的拓扑结构并提取复杂管状结构中的高维关系，以持久条码和持久同调（PH）的形式表示，如图5所示。

图5. 持久同调和我们的TCLoss示意图。

        给定G，它的N维拓扑结构，同调类[9, 19]是N-流形的等价类，这些流形可以在G内互相变形，其中0维和1维是连接组件和手柄。PH用于计算拓扑特征的演化，保留拓扑特征出现时间b和消失时间d之间的周期[30]。这些周期以简洁的格式总结在一个称为持久图（PD）的形式中，它由一组点（b，d）组成。每个点（b，d）表示在b处出现并在d处消失的第d个同调类。让PD = dgm(·)表示从地面实况L和输出O中获得的持续同调。

        我们认为复杂管状结构中的拓扑信息包含了确定断裂存在的关键线索，这些线索在0维和1维同调特征的同伦特性中是显而易见的。现有方法[30, 5, 10]使用修改后的Wasserstein距离来计算输出生成的点和地面实况生成的点之间的最佳匹配，没有最佳配对的异常点与对角线匹配，并且不参与损失计算。然而，在我们的任务中，异常点表示异常的出现或消失时间，并暗示了错误的拓扑关系，发挥了重要作用。因此，我们使用Hausdorff距离[26]来衡量两组点之间的相似性：

        在这里，PO ∈ Dgm(O)，PL ∈ Dgm(L)，d∗H表示双向Hausdorff距离，它是根据n维点计算的。我们使用的Hausdorff距离对异常点很敏感。如Equation 9所示，如果两组点相似，除了PO中的一个点与PH中的任何点都远，那么Hausdorff距离将由该点确定，并且很大[11]。

        然后对所有维度（n = 0, 1, 2, · · · , N）进行求和以获得LPH，整个TCLoss与交叉熵损失LCE一起集成为最终损失函数LT C = LCE + Σn=0 d∗H。 最后，拓扑和准确性受到两个损失函数的综合作用的限制，有助于连续管状分割。

4 实验配置

4.1 数据集

        我们使用了包含两个公开数据集和一个内部数据集来验证我们的框架。在2D方面，我们评估了DRIVE视网膜数据集[25]和马萨诸塞州道路数据集[17]。在3D方面，我们使用了一个名为心脏CCTA数据集。有关实验设置的详细信息可以在补充材料中找到。

4.2 评估指标

        我们进行了比较实验和消融研究，以证明我们提出的框架的优势。我们将经典的分割网络U-Net[4]和2021年提出的用于血管分割的CS2-Net[18]进行比较，以验证准确性。为验证网络设计的性能，我们将2022年提出的用于视网膜血管分割的DCU-net[31]进行比较。为验证特征融合的优势，我们将2021年提出的用于医学图像分割的Transunet[3]进行比较。为验证损失函数的约束，我们将2021年提出的clDice[24]和基于Wasserstein距离的TCLoss LW T C [30]进行比较。这些模型在相同的数据集上进行训练，采用相同的实现方式，并通过以下指标进行评估。所有指标均针对每个图像进行计算并平均。

1. 体积评分：使用平均Dice系数（Dice）、相对Dice系数（RDice）[22]、中心线Dice（clDice）[24]、准确性（ACC）和AUC来评估结果的性能。
2. 拓扑错误：我们遵循[24, 28]，计算基于拓扑的分数，包括Betti数β0和β1的Betti错误。同时，为了客观验证冠状动脉分割的连续性，使用首次错误之前的重叠度（OF）[23]来评估提取中心线的完整性。
3. 距离误差：Hausdorff距离（HD）[26]也广泛用于描述两组点之间的相似性，建议用于评估细管状结构。

5 结果与讨论

       在这一段中，我们将通过三种方式评估和分析我们提出的框架的有效性：(1) 我们将使用以下指标比较和验证我们提出的方法在细管状结构分割任务上的性能。同时展示不同方法的视觉效果。(2) 我们分析了我们提出的DSConv指导模型关注管状结构的有效性，以及TCLoss对分割的拓扑进行约束的帮助。 (3) 我们提供了包括DRIVE数据集在内的综合实验，此外，由于空间限制，我们突出了一些其他数据集上最重要的比较实验。结果显示我们的方法在2D和3D领域都表现出强大的性能。

5.1. 定量评估

       表格 1. 此表显示了 DRIVE 视网膜数据集和 Massachusetts 道路数据集（ROADS）的定量结果。所有实验在三个层面验证了我们方法的性能：容积准确性、拓扑连通性和距离误差。我们的 DSCNet 和 TCLoss 在所有指标上都取得了最具竞争力的结果。        

         表1展示了我们方法在每个度量标准上的优势，结果表明我们提出的DSCNet在2D和3D数据集上都取得了更好的结果。

         DRIVE数据集的评估。在DRIVE数据集上，我们的DSCNet在分割准确度和拓扑连续性方面均优于其他模型。在表1中，从体积准确性的角度来看，我们提出的DSCNet在Dice系数、RDice、clDice、ACC和AUC方面均取得了最佳的分割结果，分别为82.06%、90.17%、82.07%、96.87%和90.27%。同时，从拓扑的角度来看，我们的DSCNet在β0误差为0.998和β1误差为0.803的拓扑连续性方面也取得了最佳的结果。结果表明我们的方法更好地捕捉了细长管状结构的特定特征，并展现了更准确的分割性能和更连续的拓扑。如表1的第六至第十二行所示，加入我们的TCLoss后，不同的模型在分割的拓扑连续性方面均有所提高。结果表明我们的TCLoss能够准确约束模型关注失去拓扑连续性的细长管状结构。

        ROADS数据集的评估。在马萨诸塞道路数据集上，我们的DSCNet同样取得了最佳的结果。如表1所示，我们提出的DSCNet搭配TCLoss在分割准确度方面均取得了最佳的结果，Dice系数为78.21%、RDice为85.85%、clDice为87.64%。与经典分割网络UNet的结果相比，我们的方法在Dice系数、RDice和clDice方面分别提高了最多1.31%、1.78%和0.77%。结果显示我们的模型在处理结构复杂且形态各异的道路数据集时也表现出色。

         CORONARY数据集的评估。在心脏CTA数据集上，我们验证了我们的DSCNet在3D中仍然取得最佳的分割结果。如表2所示，我们提出的DSCNet在Dice系数、RDice和clDice方面均取得了最佳的分割结果，分别为80.27%、86.37%和85.26%。与经典分割网络UNet的结果相比，我们的方法在Dice系数、RDice和clDice方面分别提高了最多3.40%、1.89%和3.83%。同时，我们使用OF度量来评估分割的连续性。我们的方法使得LAD、LCX和RCA（LAD、LCX和RCA是冠状血管的重要主干）的OF度量分别提高了6.00%、3.78%和3.30%。血管连续性的提高在临床上起着至关重要的作用。

 表格 2. 对于 3D 心脏 CCTA 数据集的定量结果。实验度量指标补充了 OF 指标以验证拓扑连接性。LAD、LCX 和 RCA 是冠状动脉的三条主干血管，具有重要的临床价值。

         消融实验分析。以DRIVE数据集为例，消融实验证明了我们的DSCNet和TCLoss的重要性。(1) 证明我们的DSCNet的有效性。表1的前五行结果显示，我们的方法更适合分割细长管状结构。结果表明我们提出的DSConv在模型中发挥了至关重要的作用，有助于网络更好地捕捉细长管状结构的关键特征。(2) 证明我们的TCLoss的有效性。如表1的第六至第九行所示，加入我们的TCLoss后，不同的模型在分割的拓扑连续性方面均有所提高。结果表明我们的TCLoss能够准确约束模型关注失去拓扑连续性的细长管状结构。

5.2. 定性评估

        我们的DSCNet和TCLoss在任何方面都具有明显的视觉优势（图6）。(1) 为了展示我们的DSCNet的有效性。从左到右，第三至第五列展示了不同网络在分割准确性方面的性能。多亏了我们的DSConv能够自适应感知细长管状结构的关键特征，我们的模型比其他方法更准确地聚焦在特殊的管状特征上，从而在管状结构分割方面表现更好。 (2) 为了展示我们的TCLoss的有效性。从左到右，第六至第八列展示了不同损失函数对细长管状结构分割连续性的性能。加入我们提出的TCLoss后，分割的连续性在难以分割的区域得到了极大的改善。结果证明我们的方法在复杂和形态多变的结构中具有更好的拓扑连续性，为分割性能提供了更稳定的表现。值得注意的是，在马萨诸塞道路数据集上，我们的模型在相邻的直线或曲线道路上取得了良好的可视化效果。更多的可视化结果可以在附录材料中找到。

5.3. 模型分析

        我们的DSConv动态调整形状以适应管状结构，并且注意力很好地适配目标。(1) 适应管状结构的形状。图7的顶部显示了卷积核的位置和形状。可视化结果显示，我们的DSConv很好地适应了管状结构并保持了形状，而可变形卷积则偏离了目标。 (2) 关注管状结构的位置。图7的底部显示了给定点上的注意力热图。结果显示，我们的DSConv最明亮的区域集中在管状结构中，这表示我们的DSConv对管状结构更敏感。

         图7. 顶部: 我们在每张图像上叠加了3层，共729个点（红色），以展示给定点（黄色）的卷积核位置和形状。底部: 热图显示了每个卷积的感兴趣区域。

5.4. 未来工作

        我们提出的框架能够很好地处理细长管状结构的分割，并成功地将形态特征与拓扑知识整合，以指导模型适应分割任务。然而，是否其他形态目标也可以使用类似的方法获得更好的性能仍然是一个激动人心的课题。同时，更多的研究将探讨将其他类型的领域知识或拓扑分析纳入以进一步提高分割性能的可能性。此外，更多的实验和理论验证将丰富这一课题。

6 总结

        在这项研究中，我们专注于管状结构的特殊特征，并利用这些知识来引导模型在三个阶段同时增强感知：特征提取、特征融合和损失约束。首先，我们提出了动态蛇卷积，以自适应方式聚焦在细长且曲折的结构上，从而准确捕获管状结构的特征。其次，我们引入了多视角特征融合策略，以在特征融合过程中从多个角度补充对特征的关注，确保保留来自不同全局形态的重要信息。最后，我们提出了一种拓扑连续性约束损失，以约束分割的拓扑连续性。我们的方法在2D和3D数据集上得到了验证，结果表明与多种方法相比，我们的方法在管状结构分割任务的准确性和连续性方面提供了更好的表现。

7 致谢

        本研究得到了中国国家重点研发计划的政府间合作项目（2022YFE0116700）和江苏省研究生研究与实践创新计划的支持，以及中央高校基本科研业务费（KYCX22 0239）的支持。我们感谢东南大学大数据计算中心为提供设施支持。