PnPNet Pull-and-Push Networks for Volumetric Segmentation with Boundary Confusion【即插即用】

PnPNet: Pull-and-Push Networks for Volumetric Segmentation with Boundary Confusion

PnPNet: Pull-and-Push Networks for Volumetric Segmentation with Boundary Confusion(PnPNet:用于边界混乱的体积分割的拉推网络)

代码地址:https://github.com/AlexYouXin/PnPNet.

2023年提交arxiv

摘要

体积图像的精确边界分割是图像引导诊断和计算机辅助干预的关键任务，特别是在临床实践中边界混淆。然而，由于缺乏边界形状约束，u形深度网络无法有效解决这一挑战。此外，现有的边界细化方法过分强调细长结构，由于神经网络对微小物体的建模能力有限，导致神经网络出现过拟合现象。在本文中，我们重新定义了边界生成的机制，包括与邻近区域相互作用的动力学。

此外，我们提出了一个统一的网络，称为PnPNet，以模拟混淆边界区域的形状特征。PnPNet的核心成分包括推分支和拉分支。具体来说，基于扩散理论，我们设计了语义差分引导模块(SDM)，从推枝挤压边界区域。SDM内显式和隐式差分信息将显著提高类间边界的表示能力。

此外，在K-means算法的激励下，引入来自拉支的类聚类模块(CCM)对相交边界区域进行拉伸。因此，推枝和拉枝会分别收缩和增大边界不确定性。他们提供了两种对立的力量来增强模型对边界区域的表示能力，然后促进模型输出更精确的类间边界描述。我们在三个具有挑战性的公共数据集和一个内部数据集上进行了定量和定性实验，其中包含模型预测中三种不同类型的边界混淆。实验结果表明，PnPNet在Hausdorff距离和平均对称表面距离的评价指标上优于其他分割网络。此外，推拉分支可作为即插即用模块，增强经典u型基线模型。

贡献

综上所述，我们的工作包含以下贡献:

• 我们总结了医学图像分割中导致类间边界混淆的三种数据集特征，并提出了PnPNet，通过建模相交边界区域与其相邻区域之间相互作用的动态来解决这一问题。

• 引入推支作为推力挤压边界区域。在该分支中，通过引入显式和隐式微分关系，改进了我们之前工作中的语义差异模块(SDM)，使其对模糊边界具有更强的表示能力。

• 我们提出拉支作为拉力来拉伸不确定边界区域。在该分支中，类聚类模块(CCM)用于实现类中心的聚类分割掩码和迭代更新。此外，分割性能高度依赖于初始类中心。因此，我们通过生成高质量的中心图谱并将语义先验信息引入中心来促进模型的学习。

框架

总结

在本文中，我们总结了医学图像分割中的三种类型的边界混淆，并提出了PnPNet通过建模边界与其相邻区域之间的相互作用来解决这一挑战。具体来说，引入推拉分支对边界区域进行挤压和拉伸。在训练过程中，这两种对立的力量可以增强模型对边界的表示能力。我们的模型在四个具有不同类型边界混淆的具有挑战性的数据集上优于其他卷积神经网络(cnn)和基于transformer的模型。

此外，大量的实验结果表明，作为即插即用模块，SDM和CCM可以提高模型的分割性能。

然而，由于推拉机制适用于解决边界混乱的解剖结构描述，因此需要在更具挑战性的数据集上进行验证实验，即使是来自自然场景的公共数据集。此外，在Segment-Anything-Model[68]的激励下，精心设计的文本提示将促进模型无异常值的一致性预测，特别是对于椎骨和肺叶等数据集，这需要进一步研究。