Coronary Artery Centerline Extraction in Cardiac CT Angiography Using a CNN-Based Orientation Classi

github 地址： GitHub - BubblyYi/Coronary-Artery-Tracking-via-3D-CNN-Classification: The PyTorch re-implement of a 3D CNN Tracker to extract coronary artery centerlines with state-of-the-art (SOTA) performance. (paper: 'Coronary artery centerline extraction in cardiac CT angiography using a CNN-based orientation classifier')

Abstract

方法：

训练3D dilated CNN 网络，基于局部图像patch预测CCTA图像中任何给定点处血管最可能的方向和半径。用手动或者自动放置在冠状动脉任意位置的单个种子点开始，使用tracker沿两个方向跟踪血管中心线。当没有方向可以被高度置信的时候停止追踪。训练用人为标注的中线进行训练。无需图像预处理。The process is guided solely by the local image values around the tracker’s location.

训练集：

train    8 CCTA images with a total of 32 manually annotated centerlines provided in the MICCAI 2008 Coronary Artery Tracking Challenge (CAT08)

test：24 CCTA test images in which 96 centerlines were extracted

评估指标：average overlap of 93.7% with manually annotated reference centerlines。average distance of 0.21 mm to reference centerline points。

实际测试：In a third test set containing 36 CCTA scans from the MICCAI 2014 Challenge on Automatic Coronary

Calcium Scoring (orCaScore), fully automatic seeding and centerline extraction was evaluated using a segment-wise analysis. This showed that the algorithm is able to fully-automatically extract on average 92% of clinically relevant coronary artery segments。

36个CCTA 图像，可以提取92%的冠脉血管段。

参考动脉半径与测量动脉半径误差小于一个体素。 基于单个种子点提取中心线平均需要 0.4 ± 0.1 秒，全自动冠状动脉树提取大约需要 20 秒（NVIDIA Titan Xp GPU）

1. Introduction

1. 计算手动或自动定义的起点和终点之间的最小成本路径 (Wink et al.,2002; Krissian et al., 2008)。最小成本路径与参考中心线的重叠度很高，但可能会受到中心线上不同点之间的捷径的影响。因此，设计一个在中心线处较低、在其他位置处较高的成本函数至关重要。

2. first obtain a segmen- tation (Stefancik and Sonka, 2001; Yang et al., 2012) or localization (Zheng et al., 2013) of the coronary artery tree, and subsequently recover the lines at the center of these structures. These methods typically do not require any user input, and are likely to bridge gaps and disconti-nuities in the arteries, which may appear due to pathology or imaging artifacts. However, they require analysis of the full 3D volume and may be time-consuming.（根据分割/位置获得这些结构的线，无需用户输入。可能弥补由间隙/伪影出现的不连续性，但由于要分析整个3D体积，可能很耗时）

3. 基于血管位置、方向和半径的迭代确定来跟踪冠状动脉中心线（(Aylward and Bullitt, 2002; Friman et al., 2010; Zhou et al., 2012; Cetin and Unal, 2015; Lesageet al., 2016）。这导致对 CCTA 图像的探索非常稀疏，计算开销较低。然而，由于其稀疏性，此类方法对动脉中的间隙、不连续性和狭窄更敏感。

上述方法提取血管中心线需要过滤器或模型来确定血管的位置、方向和半径。常用的过滤器基于 Hessian 矩阵的特征向量 (Frangi 等人，1998；Sato 等人，1998) 或理想化的血管管状模型 (Friman 等人，2010)。缺点在于人为选择血管过滤器可能无法对所有冠脉异常的血管情况进行建模。

1. Schneider et al. (2015）using steerable features and randomized decision trees。使用可操纵特征和随机决策树来识别中心线的位置

2. Sironi et al. (2016) trained a boosting regressor to predict, for each voxel, the proximity to the closest centerline训练了一个增强回归器来预测每个体素与最近中心线的接近度

3. Gülsün et al.(2016) used a support vector machine (SVM) classifier tolearn an orientation flow field in CCTA based on steerable features and spatial features extracted using automatically identified anatomical landmarks（使用支持向量机 (SVM) 分类器基于可操纵特征和使用自动识别的解剖标志提取的空间特征来学习 CCTA 中的方orientation flow）

通过在滤波图像中找到minimum energy or maximum flow path来提取最终的中心线。虽然这些方法不依赖于人工选择的血管过滤器或模型，但它们需要intermediate feature representation of the data和在多个体素位置的评估以获得单个点的血管方向。

本论文方法：无需hand-crafted vesselness representations，完全依赖图像。Describe an algorithm that utilizes the direction and ra-dius predictions by the CNN to extract centerlines based on a single seed point that can be placed either manually or automatically

2. Data

32 CCTA reconstructed to a mean voxel size of 0.32 × 0.32 × 0.4 mm 3
标注了主要的四条血管。（LAD, LCX, RCA, LAD）
训练：8 CCTA iamges  test：24 无标注
标注描述Standardized evaluation methodology and reference database for evaluating coronary artery centerline
extraction algorithms
标记markers 在 50 次扫描中，每次扫描均由专业观察员手动将标记放置在相隔约 10 毫米的冠状动脉中，同时测量标记位置轴向平面上的血管半径。标记放置在所有可见的主要冠状动脉和分支中。放置的标记的半径范围为 0.45 毫米至 3.51 毫米，中位数 (IQR) 为 0.81（0.61-1.16）毫米。总共有 5,448 个标记放置在冠状动脉中心线上，平均每次 CCTA 扫描放置 109 个标记。此外，还手动指示了左、右冠状动脉口的位置。

3. Method

3.1 网络设计

We propose to determine the orientation and radius of a coronary artery at a location x in an image I, based on a 3D isotropic image patch P and using a single CNN. （“isotropic 指体素（voxel）的尺寸在所有三个空间维度上（x, y, z）都相等）

The output layer of the CNN consists of classification nodes that determine a posterior probability distribution over possible tracking directions D and a regression node that determines the radius r of the vessel at point x.

patch w*w*w voxels 和 spacing v（mm）共同决定CNN 在世界坐标中的输入分辨率和物理感受野，根据血管口径进行选择。这里w = 19 和 v = 0.5，对应于 9.5 毫米的物理感受野，足以覆盖最宽的冠状动脉及其周围环境（(Dodge et al., 1992; Medrano-Gracia et al., 2016）

network may efficiently be applied to images of arbitrary size. 细节待补充。

3.2  Training strategy

To only train the CNN with samples for which we can set a reference label with sufficient certainty, we sample training points in those areas where the coronary centerlines have been annotated。

3.3 Iterative tracking

根据种子点tracking

3.4 Fully automatic coronary tree extraction

先自动寻找种子点，再tracking。

4. 实验和评估

4.1 实验参数

NVIDIA Titan Xp GPU（算力 6.1）。训练一个包含 50,000 次迭代的网络需要 1.5 小时。提取单个血管的处理时间平均为 0.4 ± 0.1 秒。自动识别用于跟踪的种子和窦口位置需要大约每位患者 1 秒，全自动提取冠状动脉树需要大约每位患者 20 秒。

4.2 Centerline extraction

测试集1：在有reference centerline的数据上用overlap和accuracy评估质量

测试集2： 基于获取的 50 次 CCTA 扫描中的 5,448 个手动放置的种子点提取单个中心线，测试在大数据集上的适用性

测试集3：测试在完整冠脉树上的自动检测点和提取中线（36）

4.3 中线提取准确性

对于每条血管，中心线提取在唯一标识该冠状动脉的点处初始化

其他方法 (Friman et al., 2010) and (Schaap et al., 2011)

4.5 全自动中线提取

另外训练了两个 CNN：一个用于检测潜在的跟踪器种子位置，一个用于识别冠状动脉开口的位置。用于跟踪器种子检测的 CNN 是使用从 UMCU 数据集中获得的中心线派生的冠状动脉掩模进行训练的。为此，我们只选择了成功到达开口的血管。用于开口检测的 CNN 是使用 UMCU 数据集中的手动开口注释进行训练的。

对于每次测试扫描，将 200 个用于跟踪器初始化的种子点确定为预测冠状动脉邻近图中的局部最大值。同样，在预测的冠状动脉开口邻近图中，两个冠状动脉开口被识别为局部最大值。在处理种子点队列时，通常发现每次扫描中大约有 150 个种子点与已提取的中心线重叠，因此大约有 50 个唯一种子用于跟踪器初始化。中心线提取 CNN 与上一节相同，并使用完整的 CAT08 训练集进行训练

4.6 数据增强的影响

data augmentation 很重要，平移旋转有更高包容度

5. 总结

准确率比较高不需要起始点和终点，根据随机给的种子点即可。跟踪器根据 CNN 提供的概率分布中的熵自动识别中心线的近端和远端端点。提取的中心线的准确度很高，与手动注释的参考中心线的平均距离为 0.21 毫米

CNN 能够为单血管种子迭代跟踪器提供有关冠状动脉中心线方向和给定点冠状动脉腔半径的信息

We found that in the CAT08 data the CNN was able to accurately estimate the radius of vessels within one voxel width, similarly to results reported by (Schaap et al., 2011). This could serve as an initialization for accurate coronary lumen segmentation, which could be used for stenosis identification and coronary artery volume quantification。

能准确估计一个体素宽度内的血管半径，类似于 (Schaap et al., 2011) 报告的结果。这可以作为精确冠状动脉管腔分割的初始化，可用于狭窄识别和冠状动脉体积量化

该方法可以在不详尽注释 CCTA 训练图像中的所有冠状动脉中心线的情况下进行训练。所使用的八张训练图像仅包含四条冠状动脉中心线的注释，而不是完整的冠状动脉树。我们仅使用可以定义明确标签的样本来训练 CNN，方法是在注释的中心线周围稀疏地采样训练补丁。仅需要有限且稀疏注释的训练数据可能使该方法适用于其他问题，例如提取肝脏或大脑中的血管。要将该方法转移到其他应用程序，必须设置少量超参数，这些超参数定义了中心线重叠、中心线准确性和计算效率之间的权衡。首先，必须调整确定 CNN 物理感受野的块宽度 w（以体素为单位）和体素宽度 v（以毫米为单位）。表 1 中列出的架构可以轻松扩展以适应 w 的较小或较大值，如第 4.1.2 节中的实验所示。其次，应设置球体上的方向数 |D|。方向数越多，预测可能方向的粒度就越高。我们发现，对于冠状动脉中心线提取，增加 |D| 可提高提取中心线的准确性，即与参考中心线的对应性越紧密。另一方面，使用太多类别会使网络对噪声更加敏感。预计将此值设置得非常高可能会导致性能下降，因为每个类别只有少量训练样本可用，并且训练数据的使用效率较低

6. 数据格式

CAT08网上已经找不到，有人自制了数据集

格式：