基于深度学习的全景放射线图像缺失牙区检测及种植规划

Deep Learning Based Detection of Missing Tooth Regions for Dental Implant Planning in Panoramic Radiographic Images

摘要

牙种植是口腔颌面外科的一种外科手术。检测缺失的牙齿区域是必不可少的计划种植牙安置。本研究提出一种在全景放射影像中自动检测缺牙区域的方法。

牙齿实例分割需要在包含障碍物的全景放射图像中准确检测缺失的牙齿区域，例如牙科器械或修复。因此，我们构建了一个包含455张全景放射图像和注释的数据集，用于牙齿实例分割和缺失牙齿区域检测。首先，分割模型将牙齿分割成全景射线图像，生成牙齿掩模;其次，检测模型使用牙齿掩膜作为输入来预测缺失牙齿的区域。最后，该检测模型识别出全景射线图像中缺失牙齿的位置和数量。我们对牙齿样本分割的平均精度(mAP)达到92.14%，缺失牙齿区域检测的平均精度(mAP)达到59.09%。因此，这种方法有助于临床医生诊断，以发现缺失的牙齿区域种植安置。

关键词:缺牙区域检测;牙齿实例分割;种植牙;牙科植体;全景射线照相图象

1 介绍

种植牙是口腔颌面外科常用的一种手术方法[1]。在植入手术之前，制定手术计划是至关重要的[2-4]。通常，种植体放置计划是根据患者的全景放射图像或锥形束计算机断层扫描(CBCT)图像制定的[5-7]。种植体的放置是通过寻找缺失的牙齿区域并为缺失的牙齿区域确定合适的种植体产品来完成的[8,9]。因此，缺失牙区域检测先于种植体放置。此外，自动检测缺失牙齿区域对于制定自动种植计划至关重要。

全景x线与CBCT相比具有成本和时间效率更高的优点，是现代牙科最常用的诊断工具之一[10-17]。此外，在某些情况下，由于设备和CBCT成像的成本，仅使用全景放射图像而不是CBCT进行诊断[18]。因此，为了减少计算量，我们在本研究中使用了全景射线图像。

由于缺乏自动化技术，临床医生必须手动计划种植体的放置。结果，临床医生的诊断疲劳和负担稳步增加。因此，一些研究试图自动检测缺失的牙齿区域，以生成种植体放置计划[8,9]。一项研究使用深度学习来检测CBCT图像中缺失的牙齿，以制定种植计划。

8. Bayrakdar, S.K.; Orhan, K.; Bayrakdar, I.S.; Bilgir, E.; Ezhov, M.; Gusarev, M.; Shumilov, E. A deep learning approach for dental
   implant planning in cone-beam computed tomography images. BMC Med. Imaging 2021, 21, 86. [CrossRef]
9. Liu, Y.; Chen, Z.C.; Chu, C.H.; Deng, F.L. Transfer Learning via Artificial Intelligence for Guiding Implant Placement in the
   Posterior Mandible: An in vitro Study. 2021. Available online: https://assets.researchsquare.com/files/rs-986672/v1/a6dedda8
   -632d-44e0-b417-25552a81c4c7.pdf?c=1642488248 (accessed on 10 January 2022).

由于缺失牙齿区域的预测是使用邻近牙齿的位置、倾斜和位置等周围信息，因此当牙齿连续丢失时，预测可能不准确[8]。利用深度神经网络检测全景x线照片中缺失的左第一磨牙，并在三维模拟中生成种植体的位置和轴线[9]。然而，前两项使用深度学习的研究只能检测特定牙齿的缺失区域，并且在同时检测多个缺失牙齿区域方面存在局限性[8,9]。在实际的临床实践中，多次种植经常同时进行。因此，检测多个缺牙区域是建立多个种植体放置计划的必要条件。

深度学习是一种计算方法，专注于从数据中学习连续层的越来越有意义的表示[19]。因此，深度学习模型不仅可以从线性数据中提取有意义的表示，也可以从复杂数据中提取有意义的表示。因此，深度学习被应用于图像和信号等各个领域的数据分类、分割和检测[20-26]。特别是，深度学习在医学成像中表现出很高的性能[27-30]。在牙科领域，深度学习也被用于协助完成各种任务，包括龋齿检测和第三磨牙拔牙[14,15,31,32]。

在这项工作中，我们提出了一种深度学习方法，通过全景图像检测缺失的牙齿区域，作为种植牙计划的一个过程。该方法由牙齿实例分割和缺牙区域检测两部分组成，分别对全景放射图像中除第三磨牙外的所有牙齿进行实例分割和缺牙区域检测。在此之前，没有同时进行牙齿实例分割和缺失牙齿区域检测的数据集。因此，我们建立了一个用于牙齿实例分割和缺失区域检测的数据集。此外，本研究可用于种植牙手术指南的制作，临床医生的诊断辅助，以及对非熟练学徒的教育。

这项工作的目的是检测缺失的牙齿区域作为一个过程的自动种植牙安置。提出了一种基于深度学习的全景放射图像缺失牙齿区域检测和牙齿实例分割方法。

本研究的主要贡献总结如下:
•我们提出了一种利用全景x线摄影图像同时检测缺失牙齿区域的方法，用于牙科种植体放置计划。

•我们同时构建了牙齿实例分割和缺失牙齿区域检测数据集。

•通过使用由各种全景放射图像组成的数据集，我们确保了我们方法的一致性能。

2 材料与方法

2.1 数据集

该研究得到了朝鲜大学牙科医院(CUDHIRB 2005008)和光州科学技术研究所(20210217-HR-59-01-02)的机构审查委员会(IRB)的批准。我们既使用了公共数据集，也在数据集中获取了数据。公共数据集中有386张全景x射线图像，包括缺失牙齿和修复牙齿和牙科应用的牙齿图像[33]。

此外，我们获得的数据集包含朝鲜大学牙科医院患者的69张全景x射线图像。研究中使用的数据集排除了患者的个人信息，并从各种全景设备和设置中获得。在455张全景射线图像中，348张图像具有牙齿实例分割的真值，107张图像同时具有牙齿实例分割和缺失牙齿区域检测的真值。因此，使用348张图像进行训练，而使用107张图像来评估模型的性能。因此，数据集被随机分成77.5%用于训练，7.5%用于验证，15%用于测试

2.1.1 牙齿实例分割数据集

该数据集用于训练和评估在全景放射图像中逐例分割牙齿的模型。该数据集包含来自各种病例的全景放射图像，其中许多牙齿已经丢失或包括牙科器械和修复。图1显示了全景放射图像，包括牙科器械和修复。为了训练牙齿实例分割模型，需要使用全景射线图像和有效的牙齿标签。因此，数据集的构建方法是用多边形标记每个牙齿并标记牙齿编号。对28颗牙齿(不包括第三磨牙)进行标记，并根据国际牙医联合会(FDI)分配牙号。

2.1.2 缺失牙齿区域检测数据集

深度学习模型的性能取决于训练数据的数量。因此，我们通过合成数据生成构建了缺失牙区域检测的数据集。合成数据集使用170例患者牙齿实例分割生成的牙罩进行构建，如图2所示。牙齿掩模根据每个牙齿编号分配像素值。人工牙罩是用除第三磨牙外的全部28颗牙齿从牙罩上随机取出最多10颗牙齿制成的。缺失牙齿区域的基础真值使用被排除牙齿图像中的位置信息以边界框的形式构建。因此，我们的数据集包含从170个牙齿面具生成的37,323张合成图像。

2.2 牙齿实例分割模型

牙齿实例分割模型在全景放射图像中分割除第三磨牙外的28颗牙齿。对于牙齿实例分割，我们使用了Mask R-CNN，它在图像分割任务中表现出了很高的性能[34]。分割模型的主干使用ResNet101[35]。ResNet-101是一种深度神经网络架构，通常用于提取基于图像的任务的特征映射，例如分割或对象检测。特别是，ResNet-101由101层组成，并包含一个残余块，通过减少输入和输出之间的差异来解决退化问题。图3显示了ResNet-101的网络架构示意图。此外，图4显示了全景放射图像中按实例分割牙齿的结果。因此，利用牙齿实例分割模型生成的牙齿掩模作为缺失牙齿区域检测模型的输入数据。
对于数据增强，对图像随机应用亮度、对比度和饱和度增强。使用学习率为1 × 10−2，批处理大小为4的SGD优化器和Smooth L1损失函数对分割模型进行训练。分割模型经过10万次迭代训练，每500次迭代评估一次，模型参数个数为60.6 M。

图3。ResNet-101的网络结构示意图。该网络通过分别重复3、4、23和3次三个卷积层的块来实现。3 × 3池是指具有3 × 3过滤器的池化层。其中，K和C分别为卷积层核的平均大小和通道数。

图4。整个过程缺失的牙齿区域检测。牙齿实例分割模型对(a)全景放射图像中除第三磨牙外的28颗牙齿进行分割。(b)为牙齿实例分割模型的结果。然后，由分割模型的结果生成©。缺失牙齿区域检测模型从生成的牙齿掩模中检测缺失牙齿的区域。进一步，检测模型的结果如(d)所示。

2.3 缺失牙齿区域检测模型

缺失牙区域检测是在全景放射图像中植入种植体的必要条件。通过这个模型，除了第三磨牙，缺失的牙齿区域可以同时被检测出来。缺失的牙齿区域以边界框的形式检测并分配编号(#11 ~ #47)。对于缺失牙齿区域的检测，我们使用了Faster R-CNN，该算法在物体检测方面表现出较高的性能。该检测模型的主干是ResNet-101。通过合成数据对模型进行训练，并用真实数据进行评价。为了提高训练效率，将模型的输入图像调整为600 × 300。图4显示了从全景放射图像中检测缺失牙齿区域的整个过程。使用SGD优化器训练检测模型，其学习率为1 × 10−2，批大小为32，并使用平滑L1损失函数。检测模型经过10万次迭代训练，每500次迭代评估一次，模型参数个数为63.3 M。

2.4 评价指标

由于缺失牙齿区域检测模型将分割模型中的分割后的掩码作为输入，因此两个模块的评估是相连的。使用平均精度(mAP)来评估分割和检测模型。mAP是每个类别的AP值的平均值，AP是通过计算Precision-Recall曲线下的面积得到的值。当真实值与预测值的交集大于阈值时，我们认为这是一个正确的预测。mAP(0.5)是通过预测IoU >0.5时的正确答案来计算的，mAP(0.5:0.95)是通过0.05步平均0.5 - 0.95之间的IoU的表现来计算的。

3 结果

在本节中，对牙齿实例分割模型和缺失牙齿区域检测模型的性能进行了评价。使用mAP(0.5)和mAP(0.5:0.95)来评估两种模型的性能。

3.1 牙齿实例分割模型

利用全景射线图像对分割模型的性能进行了评价。在表1中，分割模型对于mAP(0.5)达到了92.14%，对于mAP(0.5:0.95)达到了76.78%。此外，表2显示了每个齿号(#11 ~ #47)的性能，其中#N表示该表中的齿号。第二磨牙的分割性能不如其他牙齿。由于第三磨牙的外观和位置与第二磨牙相似，分割模型将第三磨牙与第二磨牙混淆。图5描述了分割模型结果的可视化。

mAP(0.5)：学习一下
mAP(0.5:0.95):

3.2 缺失牙齿区域检测模型

我们还评估了使用全景射线图像的缺失牙区域检测模型。检测模型使用牙齿实例分割模型得到的牙齿掩模。表3显示了模型的性能。该模型对mAP(0.5)和mAP(0.5:0.95)的准确率分别达到59.09%和20.40%。此外，表4显示了每个齿号(#11 ~ #47)的性能，其中#N表示齿号。由于使用的是实际患者的数据作为测试集，因此表4中没有不在数据集中的牙号结果值。此外，第二磨牙模型的性能低于其他牙齿。由于第二磨牙位于牙齿排列的末端，因此通常没有邻近的牙齿来指导检测。图6显示了缺失牙齿区域检测模型结果的可视化。

4 讨论

一些研究已经应用深度学习来检测缺失的牙齿区域并分割各种解剖结构以进行种植规划[8,9]。Bayrakdar等人开发了一种人工智能系统，可以检测CBCT图像中的管状、窦状、窝状和缺牙，用于种植规划[8]。刘云等人提出了下颌左第一磨牙种植规划的深度学习方法。先前的研究利用CBCT图像建立了种植体放置计划[8,9]。然而，与全景x线摄影相比，CBCT需要更高的成本。此外，以前的研究还没有完全自动化的方法，只能检测特定的缺失牙齿区域。因此，同时检测多个缺失牙区域是有限制的[8,9]。

5 结论

数据可以在通讯作者处获取。