通过深度点图表示的隐式场实现肺树结构的高效解剖标注文献速递-生成式模型与transformer在医学影像中的应用

Title

题目

Efficient anatomical labeling of pulmonary tree structures via deeppoint-graph representation-based implicit fields

通过深度点图表示的隐式场实现肺树结构的高效解剖标注

01

文献速递介绍

近年来，肺部疾病（Decramer等，2008；Marcus等，2000；Nunes等，2017）已成为全球死亡的主要原因（Quaderi和Hurst，2018），肺部研究因此受到了越来越多的关注。在与肺部疾病相关的研究中，通过医学影像了解肺部解剖结构非常重要，因为肺部疾病与从肺部CT图像中推导出的度量指标之间有已知的关联（Charbonnier等，2019；Kirby等，2019；Qin等，2019；Shaw等，2002；Loud等，2001；Shen等，2014）。一些研究也强调了拓扑保持和对关键位置的学习（Yu等，2023；Tan等，2021；Xie等，2022）。然而，从点云或图中提取可用的表面并非易事。

考虑到上述挑战，如图2（e）所示，我们希望开发一种优化的自动化解决方案，该方案在计算上高效，并且能够重建具有连续表面定义和拓扑保持的3D模型，特别关注关键结构点。为此，我们提出了一种新方法，使得骨架图上下文可以深入注入到基于点的表示中，并采用隐式方法生成特征场，从而实现高效且去噪的密集体积重建。所提出的 隐式点图网络（IPGN） 包括点和图编码器，结合多个 点图融合 层作为 点图网络（PGN） 进行深度特征融合，并使用 隐式点模块 来建模3D中的隐式表面，允许在任意位置进行快速分类推理。得益于隐式表示的灵活性，经过肺部树标注训练的IPGN可以通过简单修改推理方法（第六节）进一步扩展到肺部分段重建。

复杂的树状肺部结构——气道、动脉和静脉，如图1所示——具有较高的分支因子，并在肺部呼吸系统中发挥重要作用。在体积图像中对肺树进行多类语义分割，其中每个类别代表根据肺部分段的医学定义划分的特定树枝或分支，是建模其复杂性的有效方法，挑战主要体现在分叉位置和远端分支（Yu等，2023）。在肺树标注中，衍生的定量特征（Kirby等，2019；Smith等，2014；Shaw等，2002）不仅与肺部疾病和肺部相关的医学应用有关（Loud等，2001；Shen等，2014），而且对外科导航至关重要（Qin等，2019）。本研究集中于调查和开发深度学习方法，用于高效准确的肺部气道、动脉和静脉的解剖标注。

在深度学习方法中，卷积神经网络（CNN）已成为语义分割的事实标准方法（Zhou等，2018，2019）。它们的优点之一是能够生成具有明确表面的体积。然而，当处理大型3D体积时，CNN计算需求较高，并且在降低分辨率（图2(a)）或在局部补丁上操作时（图2(b)），往往会导致缺乏细节或全球上下文，从而得到不令人满意的结果。相比之下，点云是一种稀疏的3D形状表示，没有可用的表面，但其计算需求较低，同时能够保持全局结构（图2(c)）。此外，由于目标本身具有树状结构，因此图建模（图2(d)）成为一种有效的方式。

Aastract

摘要

Pulmonary diseases rank prominently among the principal causes of death worldwide. Curing them will require,among other things, a better understanding of the complex 3D tree-shaped structures within the pulmonarysystem, such as airways, arteries, and veins. Traditional approaches using high-resolution image stacks andstandard CNNs on dense voxel grids face challenges in computational efficiency, limited resolution, localcontext, and inadequate preservation of shape topology. Our method addresses these issues by shifting fromdense voxel to sparse point representation, offering better memory efficiency and global context utilization.However, the inherent sparsity in point representation can lead to a loss of crucial connectivity in tree-shapedstructures. To mitigate this, we introduce graph learning on skeletonized structures, incorporating differentiablefeature fusion for improved topology and long-distance context capture. Furthermore, we employ an implicitfunction for efficient conversion of sparse representations into dense reconstructions end-to-end. The proposedmethod not only delivers state-of-the-art performance in labeling accuracy, both overall and at key locations,but also enables efficient inference and the generation of closed surface shapes. Addressing data scarcity inthis field, we have also curated a comprehensive dataset to validate our approach.

肺部疾病在全球范围内位居主要死亡原因之列。治疗这些疾病需要更深入地理解肺部系统内复杂的三维树状结构，如气道、动脉和静脉。传统方法依赖于高分辨率图像堆栈和标准卷积神经网络（CNN）在稠密体素网格上，面临计算效率、分辨率、局部上下文以及形状拓扑保持不足等挑战。我们的方法通过从稠密体素表示转向稀疏点表示来解决这些问题，提供了更好的内存效率和全局上下文利用。然而，点表示的固有稀疏性可能导致树状结构中重要连接性的丧失。为了解决这个问题，我们引入了基于骨架结构的图学习，结合可微分特征融合，以改进拓扑结构和长距离上下文的捕捉。此外，我们采用隐式函数来高效地将稀疏表示转换为密集重建，进行端到端处理。所提出的方法不仅在标注准确性（无论是整体标注还是关键位置的标注）上实现了最先进的性能，还实现了高效推理和闭合表面形状的生成。为了应对该领域的数据稀缺问题，我们还整理了一个全面的数据集以验证我们的方法。