Dental enumeration and multiple treatment detection on panoramic X-rays using deep learning

Abstract

本文开发了一种新的强大的深度学习框架，称为DENTECT，用于即时检测五种不同的牙科治疗方法，并根据全景x射线图像上的FDI符号同时对牙列进行编号。这使得DENTECT成为第一个专注于识别多种牙科治疗的系统;即根尖周围病变治疗、填充物、根管治疗(RCT)、手术拔牙、常规拔牙均准确定位在相应的边界和牙数内。虽然DENTECT只训练了1005张图像，但专家提供的注释在处理和枚举检测方面都提供了令人满意的结果。该框架以89.4%的平均精度(AP)评分进行枚举，并以59.0%的AP评分进行治疗识别。临床上，DENTECT是一种实用和可采用的工具，可以加速治疗计划的过程，其准确性可以与牙科临床医生竞争。

网络架构图

图1所示。象限分割模型;将全景x射线图像输入象限分割模型，将其分割为4个象限。然后，每个象限被裁剪为一个边距。

图2。处理检测模型和枚举模型;每个裁剪的象限直接输入到处理检测模型中，旋转后再输入到枚举模型中。然后合并结果。在两种检测模型中，红框表示类预测，紫框表示bbox预测。

methods

象限分割模型。第一个模型使用语义分割技术从图像中提取象限，目的是将每个像素分类到特定的类别8。在这种情况下，有五个类(每个象限加背景一个)，每个像素尽可能准确地分布在每个类中。

象限分割方法的结果称为语义图，如图4所示。图像分割领域的主要方法之一是采用目标建议方法15，该方法试图在分割过程之前提出目标位置。另一种方法25旨在通过使用后处理方法在输出图像中找到聚类。当前象限分割模型中使用的策略是后者的一个例子。它通过应用各种滤波器和凸包等后处理方法，在图像中找到四组物体，从而达到最终目的。对于这个过程，使用Brabandere et. al.26的代码库，因为它提出了一个象限分割模型，可以在包含重叠对象的图像中获得最先进的结果。尽管我们的目标是找到四个不重叠而是并排的象限，但这个代码库以89%的AP分数表现得令人印象深刻。

我们的模型产生的结果包含从四个象限分散的像素，在此上下文中称为四个主要集群。采用k -最近邻(KNN)算法作为后处理步骤，消除这些分散的像素，以获得具有光滑轮廓的聚类。这是必要的，这样图像就可以正确地分成四个象限，而不会遗漏任何基本结构。当从我们的模型中获得光滑且可分离的语义图时，原始图像被裁剪并添加额外的边距，以确保所有相关的牙齿确实在裁剪的图像中。

这些裁剪后的图像随后成为枚举和处理检测模型的输入。

枚举模式。在解决目标检测任务的枚举模型中，根据FDI表示法找到单个齿号并进行标记。象限分割模型的输出包含整个x射线图像的四分之一的裁剪象限。将这些象限输入到枚举模型中，而不是整个图像，使模型更容易工作。这是因为在一个完整的图像中有32个可能的牙齿物体，而在四分之一的图像中，裁剪象限中最多有8个物体。作为目标检测任务的一般规则，图像中存在的目标越少，问题就越容易解决。由于牙齿枚举任务是对象检测问题的一个示例，因此它遵循这一原则。

在枚举模型中，我们使用了YOLO，这是一个以物体检测速度和精度极高而闻名的模型。YOLO处理像我们这样的小数据集的能力使它比其他模型更有优势。其他最先进的模型，如Mask-RCNN15和Cascade-RCNN16也进行了实验，但它们没有给出令人满意的结果。

治疗检测模型。就像枚举模型一样，治疗检测模型也将裁剪的象限作为输入，并尝试使用对象检测来确定必要的治疗方法。但是，处理检测模型的输入没有像前面提到的模型那样旋转到第一象限，因为旋转会降低检测性能。这是由于治疗信息高度依赖于牙齿的位置和排列。当旋转象限时，位于正常位置的结构可能会显示为模型的异常。为了克服这个问题，将象限输入直接输入到模型中，并获得输出预测。与枚举模型类似，YOLO体系结构也用于该模型。我们特别决定使用YOLO作为治疗检测模型，因为已知它可以很好地处理相对较小的数据集。

在治疗检测模型中，有5个特定类对应5种不同的疗法，即;根尖周围病变治疗、充填、根管治疗(RCT)、手术拔牙和常规拔牙。每种疗法的出现次数彼此不同，这使得问题更加复杂，因为数据变得不平衡。例如，虽然有3051个填充样本，但数据集中只有247个病变治疗样本(表1)。为了解决这个平衡问题，使用每种治疗出现次数的反比将类权重添加到损失函数中。正如预期的那样，应用类权重提高了检测罕见事件(如病变治疗和常规提取)的性能。

结果包括包含来自枚举模型的牙号和来自治疗检测模型的疗法的检测对象。但是，如果不将这两个结果合并为一个，问题仍然不完整。为了合并它们，遍历两个结果中的所有对象，并确定两个结果中重叠最多的对象。在考虑重叠的数量时，使用联合(IoU)度量的交集(请参阅下一节了解更多细节)。在处理和枚举输出中重叠最多的对象是具有最高IoU值的对象。

results

conclusion

论文的结论强调了关于 DENTECT 框架及其对牙科实践的影响的几个关键点：

1. DENTECT 的有效性：DENTECT 是一种强大的工具，可用于即时检测多种牙科治疗并根据全景 X 射线图像进行牙齿计数。它成功识别了五种不同的治疗方法，证明了其帮助牙科临床医生快速做出明智决策的潜力 [T2]。
2. 性能指标：该框架在牙齿计数方面的平均精度 (AP) 得分为 89.4%，在治疗识别方面的平均精度 (AP) 得分为 59.0%。这些结果表明 DENTECT 可以与牙科专业人员的准确性相媲美，从而增强治疗计划过程 [T2]。
3. 局限性：该研究承认存在局限性，特别是数据集大小，与医学成像的其他领域相比，数据集相对较小。作者建议增加数据集大小可以提高模型性能和稳健性 [T1]，[T6]。
4. 临床意义：DENTECT 能够快速识别多种牙科治疗并列举牙齿，从而显著简化牙科诊所的工作流程，节省时间并改善患者护理。然而，该框架目前仅提供一种治疗方案，可能与所有临床医生的意见不一致，这凸显了进一步改进的必要性 [T6]。
5. 未来方向：作者强调了进一步研究以增强模型功能的重要性，包括解决与数据集大小相关的限制以及根据不同的临床意见整合更细致入微的治疗方案的潜力 [T6]。

总之，DENTECT 代表了深度学习在牙科应用方面的重大进步，有可能提高诊断准确性和治疗计划效率。