Translation[VERTEBRA-FOCUSED LANDMARK DETECTION FOR SCOLIOSIS ASSESSMENT]——2021.6.18

摘要

青少年特发性脊柱侧弯（AIS）是一种在儿童中出现的终身疾病。 准确估计脊柱侧弯的Cobb角对临床医生做出诊断和治疗决定至关重要。 Cobb角的测量是根据椎体标志物进行的。 现有的基于回归的椎体地标检测方法通常存在着较大的密集映射参数和不准确的地标定位问题。 基于分割的方法倾向于预测连接或损坏的椎体掩码。 在本论文中，我们提出了一种新的以椎体为重点的地标检测方法。我们的模型首先定位椎体中心，在此基础上通过学习的角偏移追踪椎体的四个角标。通过这种方式，我们的方法能够保持地标的顺序。 比较结果表明，我们的方法在低对比度和模糊的X射线图像上的Cobbangle测量和地标检测方面都有优势。

1. INTRODUCTION

青少年特发性脊柱侧弯（AIS）是一种脊柱的侧向偏移和轴向旋转[1]，在儿童青春期或青春期前后出现[2]。 脊柱侧弯的早期发现和矫正治疗将减少对手术的需求[3]。 Cobbangle[1]被临床医生用作脊柱侧弯评估和诊断的金标准。它通常是根据前后位（AP）射线摄影（X射线），通过选择脊柱顶部和底部最倾斜的椎体进行测量[4, 3]。 由于脊柱侧弯的APX光片图像的模糊性和可变性，测量Cobb角具有挑战性（图1）。一般来说，临床医生手动测量平面标记（图1中的黄色点），并选择特别倾斜的椎体来评估Cobb角。然而，测量结果往往会受到椎体选择和不同观察者的偏见的影响。

图一描述：前后方（AP）X射线图像的说明。地面真实地标（共68个点，每个椎体4个点）以黄点显示。 近胸椎（PT）、主胸椎（MT）和胸腰椎（TL）曲线的冠状Cobbangles[9, 10]是根据选定的椎体测量的。 红线穿过所选椎体的中心线。

鉴于临床实践中人工评估Cobb角既费时又不可靠，人们对开发自动方法以准确估计脊柱AP X射线图像的兴趣大增。 传统的无监督方法，如过滤和主动轮廓[3]，对参数敏感，通常涉及复杂的处理阶段。S2VR[5]使用结构化的支持向量回归（SVR）来直接基于提取的手工特征回归地标和柯布角。 BoostNet[6]通过卷积层学习更稳健的脊柱特征。 这些基于回归的方法能够利用图像的整体信息。 然而，回归点和潜在特征之间的密集映射需要大量的参数和计算成本。 因此，输入图像（2500×1000）必须被下采样到一个非常小的分辨率（如256×128），以实现训练和推理。这样的操作限制了这些方法的性能，因为失去了原始高分辨率图像的精细细节。 为了处理这个问题，另一个方向提出使用卷积层来分割每个椎体以进行评分评估[7, 8]。 这些方法主要是基于U-net，对图像的质量比较敏感，难以分离附着的椎骨。

最近，基于关键点的方法在人的姿势联合定位[12]和物体检测[13, 14, 15]方面取得了可观的成绩。 与基于回归的arXiv:2001.03187v1 [eess.IV] 2020年1月9日的方法不同，基于关键点的方法在定位点时不需要密集的映射。 因此，它简化了网络，能够消耗更高分辨率的输入图像。 在本文中，我们提出了一种基于关键点检测的以椎体为中心的地标检测方法。 我们通过直接定位椎体中心，使网络学会区分不同的椎体。 在捕捉到椎体后，我们使用卷积层对每个椎体的四个角的地标进行处理。 通过这种方式，我们保持了地标的顺序。 实验结果表明，与基于回归和分割的方法相比，我们的方法具有优越性。

2. METHOD

如图1所示，Cobb角是由标志物的位置决定的。我们使用的X射线图像包含胸椎和腰椎的17个椎体。 每个椎体都有4个角标（左上、右上、左下和右下），每张图像共有68个角标。角标的相对顺序对于准确定位倾斜的椎体非常重要。 考虑到这一点，我们不直接从输出的特征图中定位68个点，因为模型不能保证检测到的点会停留在正确的位置上，特别是当出现假阳性时，这将导致错误的地标排序。 为了解决这个问题，一种策略是将地标分成不同的组，从而得到一个通道数为17×4=68的输出特征图。然而，由于输出特征图的每个通道只有一个阳性点，这种策略解决了阳性和阴性点之间的等级不平衡问题，这将损害模型的性能。

在本文中，我们建议首先通过检测17个椎体的中心点来定位它们。 这种方法的一个优点是，中心点不会重叠。因此，中心点可以用来识别每个椎体，而不会出现基于分割方法的触摸问题。 椎体被定位后，我们再从每个椎体的中心点抓取其4个角的地标。

我们的以椎体为重点的地标检测网络如图2所示。网络的输入是灰度图像，大小固定为1024×512。 首先，我们使用ResNet34[11] conv1-5来提取输入图像的高级语义特征。 然后，我们使用跳过连接将深层特征与浅层特征结合起来，以利用高层语义信息和低层精细细节，这与[16, 17]类似。 在D2层，我们使用卷积层构建热图、中心偏移和角偏移图，用于地标定位。

图２描述：(a)以椎体为中心的地标检测网络的框架。 网络的主干（即conv1-5）来自ResNet34[11]。 特征图的大小以高度×宽度×通道来表示。 E和D分别代表编码器和解码器。灰度输入图像的大小被调整为1024×512。跳过连接通过跳过连接模块将浅层和深层结合起来。(b) 地标解码过程。从热图和中心偏移中提取椎体中心。从每个椎体的中心，利用角的偏移量追踪四个角的地标。

2.1. Heatmap of Center Points

关键点热图一般用于姿势联合定位和物体检测。对于每个点k来说，它的基础事实是一个未归一化的二维高斯盘（见图2b），可以用exp（-x2+y22σ2）来表示。 半径σ由椎体的大小决定[13]。我们使用focalloss的变体来优化参数，与[13, 18]相同。

2.2. Center Offset

从图2a可以看出，与输入图像相比，网络的输出特征图被缩小了。这不仅节省了计算成本，而且还缓解了由于输出分辨率降低而导致的正负点之间的不平衡问题。因此，输入图像上的一个位置(x,y)被映射到缩小后的特征图的位置(bxnc,bync)，其中的下采样系数是指下采样系数。在从缩小后的特征图中提取中心点后，我们使用中心偏移量将这些点映射回原始输入图像。中心偏移被定义为：

2.3. Corner Offset

当每个椎体的中心点被定位后，利用角偏移图从椎体上追踪4个角标。 角偏移被定义为从中心点开始指向椎体角的向量（见图2b）。角偏移图有4×2个通道。我们使用L1损失来训练中心点的角偏移。

3. EXPERIMENTAL DETAILS

3.1. Dataset

我们使用AASCE MIC-CAI 2019公开挑战赛的训练数据（580张图像）作为我们的数据集。 所有的图像都是前胸后背的X光图像。 具体来说，我们使用60%的数据集进行训练（348张图像），20%用于验证（116张图像），20%用于测试（116张图像）。 每张图像包含胸椎和腰椎的17个椎体。每个椎体由4个角标定位。地面真实地标（每幅图像68个点）是由临床医生提供的。 Cobb角是用AASCE提供的算法计算的。输入的图像大小不一（2500×1000）。

3.2. Implementation

我们用PyTorch和NVIDIA K40GPU来实现我们的方法。 主干网络ResNet34[19]是在ImageNet上预先训练的。 网络的其他权重是根据标准的高斯分布初始化的。我们将图像的输入分辨率固定为1024×512，从而得到256×128的输出分辨率。为了减少过拟合，我们采用标准的数据增强，包括随机扩展、裁剪、对比度和亮度失真。我们用Adam[19]对网络进行了优化，初始学习率为2.5×10-4。我们对网络进行了100次的训练，当估值损失没有明显减少时就停止训练。

3.3. Evaluation Metrics

根据AASCE挑战赛，我们使用对称平均绝对百分比误差（SMAPE）来评估测量的Cobb角的准确性。

其中ei指胸前(PT)、主胸(MT)和胸腰(TL)区域的三个Cobb角，j指第j张图像，N是测试图像的总数。 a和b分别指的是估计的Cobb角和地面真实的Cobb角。 我们还单独报告了PT、MT和TL区域的SMAPE，我们用SMAPEPT、SMAPEMT和SMAPETL表示。

我们通过比较检测到的地标位置和地面真实地标位置来评估地标的准确性。平均的检测误差是:

4. RESULTS AND DISCUSSION

我们将我们的方法与基于回归的方法[10]和基于分割的方法[7]进行比较。 定性结果和定量结果显示在图3和图1中。 请注意，基于回归的方法的输入分辨率较小，因为FC层的参数太大，而GPU的内存有限。 基于分割的方法的地标是由椎体分割面具的最小边界矩形的角点解码的。我们对所有这些基线方法使用相同的数据增强和训练技巧。

如图3所示，基于回归的方法在捕捉地标的顺序方面表现良好。 这要归功于FC层的分离通道。 然而，它不能准确地捕获地标的位置。原因之一是小的输入分辨率失去了椎体的形态细节。此外，我们使用的数据集还不够大，因为FC层中有很多参数，所以模型学习效果不好。 与基于回归的方法不同，基于分割的方法在分割掩码的帮助下能更好地捕捉到地标位置。 然而，从案例1和6中可以看出，基于分割的方法未能分离出连接区域。 此外，对于案例2-4，由于输入图像的模糊性，基于分割的方法往往会产生损坏的掩模。 因此，错误的预测扰乱了检测到的地标的顺序，导致地标检测和Cobb角计算的错误。表1也说明了基于分割的方法在脊柱的TL区表现较差，因为这部分的椎体通常变得更加模糊。 特别是在TL区域，基于分割的方法的地标误差与基于回归的方法非常接近。

图３描述：地标检测的定性结果。GT指的是地面真实的地标。对于我们的方法，我们同时显示了角偏移的预测和地标。 大箭头表示检测到的地标来自椎体的四角地标。 基于分割的方法的结果与它的预测掩码重叠在一起。 不同的颜色指的是不同的椎体。

与基线方法相比，我们的以椎体为中心的方法在Cobb an-gle测量（SMAPE）和地标检测（Errordec）方面都取得了最佳性能，如表1所示。 我们在图3中说明了角偏移和检测到的地标。 角偏移量是由椎体的解码中心点开始的彩色箭头。 从案例2、4、6中，我们可以看到，以椎体为中心的方法在定位原始图像中对比度较低的椎体方面是稳健的。原因是该模型有能力通过中心定位，根据椎体的整体形态特征来识别椎体。 我们在案例5中展示了一个失败的例子，这表明以椎体为中心的网络会跳过形态学特性低于其他椎体的椎体。 然而，这样的失败并不影响对其余椎体的识别，说明所提出的方法具有更好的对象推理能力。

5. CONCLUSION

在本文中，我们提出了一种以椎体为中心的地标去除方法，从椎体的中心点追踪椎体的角落地标。 预测中心点热图的策略使我们的模型能够识别不同的椎体，并使其能够从低对比度的图像和模糊的边界中稳健地检测地标。与基于回归和分割的方法相比，我们以椎体为中心的方法在地标检测和Cobb测量方面表现最好。