基于人工智能的 CBCT 牙齿及牙槽骨全自动分割系统A fully automatic AI system for tooth and alveolar bone segmentation from

摘要

从牙锥束CT (CBCT)图像中准确描绘单个牙齿和牙槽骨是数字牙科精确牙科保健的重要步骤。在本文中，我们提出了一种高效、精确和全自动分割真实患者CBCT图像的人工智能系统。我们的人工智能系统是在迄今为止最大的数据集上进行评估的，即使用来自15个不同中心的4,215名患者(4,938次CBCT扫描)的数据集。这种全自动人工智能系统实现了与经验丰富的放射科医生相当的分割精度(例如，在平均骰子相似系数方面提高了0.5%)，同时显著提高了效率(即快了500倍)。此外，对于具有可变牙畸形的挑战性病例，其结果一致准确，牙槽骨分割的Dice平均得分分别为91.5%和93.0%。这些结果证明了它作为一个强大系统的潜力，可以促进数字牙科的临床工作流程

引言

随着生活水平的提高和对牙齿健康意识的提高，越来越多的人寻求牙齿治疗(如正畸、种植牙和修复牙)，以确保正常功能和改善面部外观。据口腔疾病调查报告，世界上近90%的人患有一定程度的牙齿问题，其中许多人需要牙科治疗。在牙科治疗的临床实践中，通常需要不同模式的医学成像，如2D全景x射线，3D口腔内扫描和3D锥束计算机断层扫描(CBCT)图像，以辅助诊断，治疗计划和手术。在所有可用的选择中，CBCT成像是提供完整牙齿和牙槽骨的全面三维体积信息的唯一方式。因此，从CBCT图像中分割单个牙齿和牙槽骨结构以重建精确的3D模型在数字牙科中是必不可少的。

CBCT的介绍。。。。

前人工作

• 过去十年，已经探索了很多方法来设计用于牙齿分割的手工特征（诸如水平集、图切或模板拟合），但这些低级描述符/特征对牙齿CBCT图像的复杂外观很敏感，因此需要繁琐的人工干预来初始化或矫正。
• 最近深度学习，例如基于卷积神经网络的深度学习，由于其以面向任务的方式从大规模数据中学习代表性和预测性特征的强大能力，在各个领域显示出很好的应用前景。受深度学习在计算机视觉和医学图像计算方面取得巨大成功的鼓舞，一系列研究试图将深度神经网络用于牙齿和/或骨骼结构分割。然而，由于三个主要挑战，这些现有的方法仍远未实现全自动或临床应用。1、全自动牙齿和牙槽骨分割是复杂的，至少包括（ROI定位、牙齿分割、牙槽骨分割）三个步骤；2、难以处理临床实践中常见的复杂病例，对于有缺牙、错位、金属伪影等问题的患者扫描出来的CBCT图像结构变化很大；3、过去的方法通常在很小的数据集上实施和测试，通用性和适用性较弱。

ROI(Region of Interest) 感兴趣区域，是针对原始图片的提议区域
ROI生成网络

本文工作

在这项研究中，我们开发了一种基于深度学习的人工智能系统，该系统在临床上稳定且准确，可以从牙科CBCT图像中自动分割牙齿和牙槽骨。

• 对于牙齿分割，ROI生成网络首先定位上颌和下颚的前景区域，以减少在高分辨率3D CBCT图像上执行分割的计算成本。然后，一个特定的两阶段深度网络明确地利用全面的几何信息(从牙齿的分层形态成分中自然固有的)来精确地描绘单个牙齿。
• 对于牙槽骨分割，一个特定的滤波增强网络首先增强骨边界周围的强度对比，然后将增强后的图像与原始图像结合，精确地注释骨结构。
• 为了验证我们的人工智能系统的稳健性和泛化性，我们在迄今为止最大的数据集(即4215名患者的4938次CBCT扫描)上进行了评估，这些数据集来自15个不同中心，具有不同的数据分布。此外，我们的人工智能系统的临床实用性或适用性也通过与两位专家放射科医生的分割准确性和效率进行详细比较来仔细验证。

研究结果

研究设计和参与者

该工作收集了中国多家医院和12家牙科诊所的牙科CBCT图像，所有图像都是在常规临床护理中扫描的。不同制造商之间CBCT数据的差异表明需要收集大规模的数据集来开发具有良好鲁棒性和泛化性的AI系统。由于在实践中经常遇到具有挑战性的牙齿异常病例（诸如缺牙、错位、金属伪影等），因此验证基于AI的分割系统的可行性和鲁棒性至关重要。
为了定义用于模型训练和性能评估的单个牙齿和牙槽骨的真值标签，每次CBCT扫描都由经验丰富的高级评分员手动注释和检查。

数据集划分

多家医院的数据集称内部数据集，12家牙科诊所数据集称外部数据集。
该实验从内部数据集中随机抽取70%用于模型训练和验证，剩余30%数据作为内部测试集。此外为了进一步评估学习后的深度学习模型如何推广到完全看不见的中心和患者队列的数据，又使用外部数据集进行独立测试。
为了验证该人工智能系统的临床适用性，我们从外部集随机选择了100个CBCT扫描，将我们的分割结果与放射科医生产生的结果进行比较。

我理解的之所以划分内部数据集与外部数据集是因为内部数据集训练和测试数据来自一个大型的数据集中，他们的异常数据分布比较相似，而使用外部数据集能引入一些不同的牙齿异常分布，以此来模拟现实世界临床实践中的异质环境。

分割的性能

评价指标主要有三个，Dice评分、灵敏度和平均表面距离误差（ASD）。通过定性评估表明该框架的效果很好，尽管由牙齿填充物、种植体或金属冠引入的金属伪影极大地改变了图像强度分布，该系统仍表现了很高的鲁棒性和泛化能力，对于金属种植体患者的性能仅略有下降。

• Dice评分 Dice用于度量分割结果R与ground-truth结果G之间的空间重叠，定义为

• 灵敏度 表示真阳性与真阳性加上假阴性的比率。

• 平均表面距离误差（ASD）指分割结果R与ground-truth G的ASD

消融实验

为了严重系统中各个部分都是不可或缺的，进行了一组消融实验：

1. 该人工智能系统

2. 该系统不含骨骼信息的部分

3. 该系统不含多任务学习方案的部分
   经过消融实验发现2、3两个实验所有指标都比1低，表明该系统中的分层形态表示在准确分割牙齿方面的有效性。
   又进行一组消融实验

4. 该人工智能系统

5. 未经harr滤波增强的模型
   比较发现1实验指标显著高于2实验，这表明增强牙槽骨和软组织之间的 强度对比，能使骨分割网络学习更准确的边界

harr滤波增强。。。

与其他方法比较

比较之后发现该人工智能系统有三方面优势

1. 该人工智能系统是全自动的，而多数现有的方法需要人工干预
2. 该系统中提出的分层形态表示使该系统具有最佳的牙齿分割精度
3. 该系统是第一个从CBCT图像中进行关节牙齿和牙槽骨分割的深度学习工作

与放射科专家比较

为了验证该人工智能系统在全自动牙齿和牙槽骨分割方面的临床适用性，将其与放射科专家在从外部集随机选择的100张CBCT扫描上的表现进行了比较。招收两名具有5年以上专业经验的放射科专家。
结果显示

• 在分割精度上该系统的表现略好于两位专家
• 与手工标注相比，改进具有统计学意义
• 专家医生在描绘牙齿时准确性低于牙槽骨，专家的分割效率明显低于该系统
• 通过定性比较发现该系统重建的3D牙齿模型表面比专家手工标注的模型光滑的多。
  这些结果进一步突出了在3D空间进行分割的优势，而不是2D切片操作（也就是由放射科专家进行）

临床改善

该项目的临床合作伙伴已经证实，这种性能在许多临床和工业应用中是完全可以接受的，例如，医患沟通和正畸或种植牙的治疗计划，这表明该人工智能系统具有很高的临床实用性。

讨论

除了上面提到的事情，还干了一个事：探索了嵌入在大规模CBCT数据集中的临床知识，即牙齿体积和密度随参与者年龄的变化轨迹。
虽然该工作取得了总体上有希望的分割结果，但由于CBCT图像的分辨率有限(即0.2-0.6 mm)，在重建牙冠的细节表面方面仍存在缺陷。在临床上，口腔内扫描仪扫描的三维牙体模型通常具有较高的分辨率(0.01-0.02 mm)来表示牙冠表面，这有助于牙齿咬合分析，但缺乏牙根信息。因此，利用口腔内扫描来改善CBCT图像重建的牙冠形状是有价值的。在未来的工作中，作为当前方法的后处理步骤，该项目组将收集一些配对的口腔内扫描，并将其与CBCT分割结果相结合，建立一个完整的三维牙齿和牙槽骨模型，具有高分辨率的牙冠形状。这将为数字牙科带来更准确的人工智能系统。
综上所述，本研究提出了一种全自动、准确、鲁棒且最重要的是具有临床应用价值的基于CBCT图像的牙槽骨三维分割AI系统，该系统已经在大规模的牙齿CBCT图像多中心数据集上得到了广泛的验证。该研究还表明，将人工智能和牙科医学结合起来，将会给未来的数字牙科带来有希望的变化。

方法

数据预处理

由于收集的CBCT图像的物理分辨率从0.2到1.0 mm不等，因此考虑到计算效率和分割精度之间的平衡，所有CBCT图像都归一化为0.4 × 0.4 × 0.4 mm3的各向同性分辨率。例如，如果分辨率高于0.4 mm，则引入下采样;否则，对三维CBCT图像进行上采样。
根据深度学习中图像处理的标准协议，将逐体素强度归一化为区间[0,1]。
为了减少极端值的影响，特别是在金属伪影区域，在强度归一化之前将每次CBCT扫描的强度值裁剪到[0,2500]。

模型实现

上图展示了我们基于深度学习的人工智能系统的概述，包括用于分割单个牙齿的分层形态引导网络和用于从输入CBCT图像中提取牙槽骨结构的滤波增强网络。我们将在本小节中详细介绍这两种网络，详细的网络架构见补充材料(补充图2-5)。

考虑到三维CBCT图像的视场通常捕获整个颌面结构，牙齿区域相对较小。因此，我们首先应用一个编码器-解码器网络来自动分割前景牙齿进行牙齿区域定位。注意，这是一个没有分离不同牙齿的二值分割任务。如图2所示，我们在这一阶段直接使用V-Net41来获得ROI。具体来说，由于GPU内存的限制，我们从CBCT图像中随机裁剪大小为256 × 256 × 256的patch作为输入。在网络训练阶段，利用二元交叉熵损失对最后一层卷积输出的概率图进行监督。
在获得牙齿ROI后，我们使用先前开发的分层形态引导网络对单个牙齿进行自动准确的分割。该网络首先对每颗牙齿进行检测，并用预测的骨架表示，可以稳定地区分每颗牙齿并捕获复杂的几何结构。然后，在第一步输出的基础上，引入单齿分割的多任务学习网络，通过同时回归相应的牙尖和边界来预测每个牙齿的体积掩模。该方法的设计是自然的，因为它可以从背景组织中正确地表示和分割每颗牙齿，特别是在牙根区域，准确的分割在正畸治疗中至关重要，以确保牙根在牙齿运动时不会穿透周围的骨头。网络架构概述如上图所示。具体来说，第一步的质心和骨架检测网络都是带有两个输出分支的V-Net41结构。一个分支是指向相应牙齿质心点或骨架线的三维偏移映射(即三维矢量)，另一个分支输出一个二值牙齿分割掩码，用于过滤掉三维偏移映射中的背景体素。利用预测的牙齿质心点和骨架，首先实现快速聚类方法42，根据空间质心位置区分每个牙齿，同时识别牙齿数量。然后，每一颗检测到的牙齿都可以用它的骨骼来表示。在单齿分割的**第二步中，多任务牙齿分割网络的三个通道输入分别是从牙齿质心图、骨架图和牙齿ROI图像中裁剪出来的斑块。**每个通道的大小为96 × 96 × 96。如图2所示，使用具有多个任务特定输出的V-Net网络架构来预测每个牙齿的掩膜。注意，在多任务牙齿分割网络中，编码器部分后面是一个最大池化层和三个全连接层，以识别每个输入牙齿贴片的类别，基于FDI World Dental Federation符号系统。在训练阶段，我们分别采用二值交叉熵损失来监督牙齿分割，另一个L2损失来监督3D偏移、牙齿边界和牙齿预测。
基于边界增强神经网络的牙槽骨分割框架旨在从输入的三维CBCT图像中直接提取中面部和下颌骨。具体而言，如图2所示，我们首先利用harr变换对CBCT图像进行处理，可以显著增强骨边界周围的强度对比。然后，我们将滤波后的图像与原始CBCT图像结合，并将其输入级联的V-Net中。考虑到GPU内存的限制，原始图像和滤波后的图像的输入是尺寸为256 × 256 × 256的裁剪后的小块。网络的输出是一个与输入patch大小相同的3通道掩码，表示每个体素分别属于背景、中脸骨和下颌骨的概率。为了训练网络，我们采用交叉熵损失来监督牙槽骨分割。需要注意的是，在推断时间内，采用了一个后处理步骤来合并预测的骨骼和牙齿掩模。例如，如果一个体素同时被预测为骨骼和牙齿，我们将比较骨骼和牙齿分割网络预测的概率，并选择概率较大的标签作为最终预测。

训练细节

该框架在PyTorch库中实现，使用Adam优化器最小化损失函数，并通过反向传播优化网络参数。在牙齿和牙槽骨分割网络中，学习率为0.001，小批量大小为1。在每个训练历元结束时，我们计算验证数据集上的损失以确定网络的收敛性。如果验证数据集上的模型性能在5个epoch内保持不变，我们认为训练过程已经收敛，可以停止。所有深度神经网络均使用Nvidia Tesla V100 GPU进行训练

代码和数据

原文附上的代码，密码为1234
原文使用的数据，密码为1234