【翻译】★VERTEBRA-FOCUSED LANDMARK DETECTION FOR SCOLIOSIS ASSESSMENT

VERTEBRA-FOCUSED LANDMARK DETECTION FOR SCOLIOSIS ASSESSMENT

聚焦脊柱的标志物检测for脊柱侧弯评估

来源：2020 IEEE 17th International Symposium on Biomedical Imaging (ISBI) || 2020/04/01

作者单位：

附：百度学术  | 翻译 | 翻译2 |

★https://github.com/yijingru/Vertebra-Landmark-Detection

Adolescent idiopathic scoliosis (AIS)

摘要

        青少年特发性脊柱侧凸(AIS)是一种发生于儿童的终生疾病。准确估计脊柱侧凸的Cobb角对临床医生做出诊断和治疗决策至关重要。Cobb角是根据椎骨标志（vertebra landmarks）测量的。||  现有的基于回归的椎骨地标检测方法存在映射参数过大、landmark地标定位不准确等问题。||  基于分割的方法倾向于预测连接或损坏的椎体掩膜。||  在本文中，我们提出了一种新的椎骨聚焦地标检测方法。我们的模型首先定位椎体中心，然后在此基础上通过学习角偏移跟踪椎体的四个角地标。这样，我们的方法就能够保持地标的顺序。对比结果表明，该方法在低对比度、模糊x射线图像的Cobb角测量和地标检测方面都具有一定的优越性。

【笔记】

场景文字的两类检测方法-回归和检测★：卷积神经网络输出的深层语义特征 |

1、介绍

        青少年特发性脊柱侧弯(AIS)是一种发生在青春期[2]左右的脊柱侧偏和轴向旋转。脊柱侧凸的早期发现和支具治疗可减少手术[3]的需要。Cobb角[1]被临床医生用作脊柱侧凸评估和诊断的金标准。通常根据前后位(AP) x线片(x线片)选取脊柱顶部和底部倾斜程度最高的椎体进行测量[4,3]。由于脊柱侧凸AP x线图像的模糊性和可变性，Cobb角的测量具有挑战性(图1)。通常，临床医生手动测量标志(图1中的黄色点)，并选择特定的倾斜椎体进行Cobb角评估。然而，测量往往受到椎骨选择和不同观察者的偏倚的影响。

        

 图1所示。前后x线图。地面真理标志(总共68个点，每根椎骨4个点)用黄色点表示。根据选择的椎体分别测量胸近端(PT)、主胸(MT)、胸腰椎(TL)的冠状Cobb角[9,10]。红线穿过选定的椎骨的中心线。脊柱基础知识↓√

 

        由于在临床实践中手动评估Cobb角既耗时又不可靠，开发自动方法在脊柱AP x射线图像中精确估计脊柱曲率的兴趣急剧增加。传统的非监督方法，如过滤[4]和活动轮廓[3]是参数敏感的，通常涉及复杂的加工阶段。||  针对x射线图像中较大的解剖变异性和较低的组织对比度，提出了基于监督学习的方法。S2VR[5]使用结构化的支持向量回归(SVR)来回归地标和Cobb角直接基于提取的手工特征。BoostNet[6]通过卷积层学习更强健的脊柱特征。这些基于回归的方法能够充分利用图像的全局信息。然而，回归点与潜在特征之间的密集映射需要大量的参数和计算成本。因此，输入图像(∼2500×1000)必须下采样到非常小的分辨率(例如256×128)，以便进行训练和推理。这样的操作会导致原始高分辨率图像的细节缺失，从而限制了这些方法的性能。|| 为了解决这个问题，另一个方向提出使用卷积层来分割每个椎体进行脊柱侧凸评估[7,8]。这些方法主要基于U-net，对图像质量比较敏感，很难分离附着椎体。

        近年来，基于关键点的方法在人体姿态联合定位[12]和目标检测方面取得了显著的成绩[13,14,15]。不同于基于回归的方法，基于关键点的方法无需密集映射即可定位点。因此，它简化了网络，并能够消耗更高分辨率的输入图像。本文提出了一种基于关键点检测的椎骨聚焦地标检测方法。我们通过直接定位椎体中心，使网络学习区分不同的椎体。||  在捕获椎体后，我们使用卷积层回归每个椎体的四个角标志。这样，我们就保持了地标的顺序。实验结果表明，与基于回归和分割的方法相比，该方法具有一定的优越性。

【笔记】

2、方法

         如图1所示，Cobb角由地标位置决定。我们使用的x光片包含了17个胸椎和腰椎。每节椎骨有4个角点(左上、右上、左下、右下)，每张影像共68个角点。标记物的相对顺序对准确定位倾斜椎体具有重要意义。考虑到这一点，我们没有直接从输出特征图中定位68个点，因为模型不能保证被检测点停留在正确的位置，特别是当出现假阳性时，会导致不正确的地标排序。为了解决这个问题，一种策略是将地标划分为不同的组，从而给出一个通道数17×4 = 68的输出特征图。但是，由于输出特征映射的每个通道只有一个正点，该策略存在正点和负点之间的类不平衡问题，这会影响模型的性能。||

        在本文中，我们提出首先通过检测17个顶点的中心点来定位它们。这种方法的一个优点是中心点不会重叠。因此,在基于分段的方法中，中心点可以用来识别每个椎体，而不存在触摸问题。||  椎体定位后，我们从每个椎体的中心点获取其4个角标志。这样，我们就能够保持地标的顺序。||

我们的以椎骨为中心的地标检测网络如图2所示。网络的输入是大小固定为1024×512的灰度图像。首先，我们使用ResNet34 [11] conv1-5提取输入图像的高级语义特征。|| 然后，我们使用跳跃连接将深层特征与浅层特征结合起来，利用高级语义信息和低级精细细节，类似于[16,17]。|| 在D2层，我们使用卷积层构造热图、中心偏移图和角偏移图进行地标定位。

 图2所示。(a)以椎骨为焦点的地标探测网络框架。网络的骨干(即conv1-5)来自ResNet34[11]特征图的大小显示为height×width×channels。E和D分别表示编码器和解码器。灰度输入图像的大小调整为1024×512。跳接通过跳接模块将浅、深两层结合起来。(b)里程碑式解码过程。从热图和中心偏移量中提取椎体中心。从每个椎体的中心，用角偏移跟踪四个角标志。

2.1 中心点热图

        关键点热图通常用于位姿联合定位和目标检测。对于每个point k，它的ground-truth是一个非归一化2D高斯圆盘(见图2b)，可以写成asexp(−x2+y2 2σ2)。σ半径由椎骨[13]的大小决定。我们利用焦损的变化来优化参数，与[13,18]相同:

其中索引到特征图的每个位置。在特征图上的位置总数中，pi and yi 分别指预测值和ground真值。本文设α= 2和β= 4[13]为参数。

2.2 中心偏移量

        从图2a可以看出，与输入图像相比，网络的输出特征映射缩小了。这不仅节省了计算成本，还缓解了输出分辨率降低导致的正负点不平衡问题。因此，输入图像上的一个位置(x, y)被映射到缩小后的特征映射的位置(bx nc,by nc)，其中是降采样因子。从缩小后的特征图中提取中心点后，利用中心偏移量将中心点映射回原始输入图像。中心偏移量定义为

中心点的中心偏移量用L1损耗进行训练。

2.3 角偏移量

        当每个椎体的中心点定位后，我们使用角偏移量从椎体追踪4个角标志。角偏移量定义为从中心开始指向椎体角的向量(见图2b)。转角偏移地图has4×2channels。我们使用L1损失来训练中心点的角偏移量。

3、实验细节

3.1 数据集

        我们使用AASCE MICCAI 2019挑战赛的训练数据(580张照片)作为我们的数据集。所有图像均为前后x线图像。具体来说，我们使用60%的数据集用于训练(348张照片)，20%用于验证(116张照片)，20%用于测试(116张照片)。每张图像包含17块胸椎和腰椎。每个椎骨由4个角标定位。地面真实地标(每幅图像68点)由当地临床医生提供。Cobb角的计算采用AASCE提供的算法。输入的图像大小不一(∼2500×1000)。

3.2 实现

        我们使用NVIDIA K40 gpu在PyTorch中实现我们的方法。骨干网络ResNet34[19]在ImageNet上进行预训练。网络的其他权重由标准高斯分布初始化。我们修正了图像为1024×512的输入分辨率，从而得到输出分辨率256×128。为了减少过拟合，我们采用了标准的数据增强，包括随机扩展、裁剪、对比度和亮度失真。网络由Adam[19]优化，初始学习为rate2.5×10−4。我们对网络进行了100次的训练，并在验证损失没有显著减少时停止。

3.3 评估指标

在AASCE挑战之后，我们使用对称平均绝对百分比误差(SMAPE)来评估测量的Cobb角的准确性:

其中i表示胸近端(PT)、主胸(MT)和胸腰区(TL)的三个Cobb角，j表示第j个图像，nis表示检测图像的总数。theaandbreer分别指估计的科布角和地面真实的科布角。我们还分别报告了PT、MT和TL区域的SMAPE，用SMAPEP T、SMAPEM T和SMAPET l表示。我们通过比较探测到的地标位置和地面真实地标位置来评估地标的准确性。平均检测误差为:

其中edi= (dx,i, dy,i)和gi= (gx,i, gy,i)分别为检测到的地标和地真地标位置;Mis为整个测试图像的地标总数。

4、结果与讨论

        我们将该方法与基于回归的方法[10]和基于分割的方法[7]进行了比较。定性结果和定量结果如图3和表1所示。需要注意的是，基于回归的方法的输入分辨率较小，因为FC层中的参数太大，且GPU内存有限。基于分割方法的标志从椎体分割掩模的最小边界矩形的角点解码。我们对所有这些基线方法使用相同的数据扩充和培训技能。

图3所示。地标检测的定性结果。GT指的是地面真理地标。对于我们的方法，我们同时显示了拐角偏移和路标的预测。大箭头表示所检测到的标志来自于椎骨的四个角标志。基于分割的方法的结果与它的预测蒙版相叠加。不同的颜色指的是不同的脊椎。 

        如图3所示，基于回归的方法可以很好地获取地标的阶数。这是由于FC层的分离通道。然而，它不能准确地捕捉地标位置。一个原因可能是输入分辨率小，失去了椎骨的形态细节。此外，我们使用的数据集不够大，无法让模型很好地学习，因为在FC层中有很多参数。||

与基于回归的方法不同，基于分割的方法借助分割掩模更好地捕捉地标位置。我们在图3中展示了叠放的椎骨罩。但是从案例1和案例6中可以看出，基于分割的方法不能分离连接区域。在case 2-4中，由于输入图像的模糊性，基于分割的方法容易产生损坏的蒙版。因此，错误的预测扰乱了对测得的地标进行测量的秩序，会引起地标检测和柯布角计算的误差。这在表1中也解释了基于分割的方法在脊柱的TL区表现较差，因为在这部分椎体通常变得更加模糊。特别是在TL区域，基于分割方法的地标误差与基于回归方法的地标误差非常接近。

        与基线方法相比，我们的椎骨聚焦方法在Cobb角测量(SMAPE)和地标检测(Errordec)方面都取得了最好的表现，如表1所示。我们在图3中说明了角偏移量和检测到的地标。角的偏移量是从解码的椎体中心点开始的彩色箭头。从病例2、4、6中可以看出，椎骨聚焦法在定位原始图像中对比度较低的椎骨方面是稳健的。这是因为该模型能够通过中心定位，根据椎体的整体形态特征来识别椎体。我们在案例5中给出了一个失败的例子，这表明椎体聚焦网络会跳过形态属性低于其他椎体的椎体。然而，这种失败并不影响对剩余椎骨的检测，说明所提出的方法具有更好的目标推理能力。

5、结论

         在本文中，我们提出了一种椎骨聚焦地标检测方法，该方法从椎骨的中心点跟踪角地标。预测中心热图的策略使我们的模型能够识别不同的椎骨，并允许它从低对比度图像和模糊边界中稳健地检测地标。与基于回归和分割的方法相比，我们的脊椎聚焦方法在地标检测和Cobb测量方面表现最好。

6、参考文献