[搬运]从曲断图自动判断下颌智齿发育阶段的深度学习

原文链接

https://pdfs.semanticscholar.org/cf4e/e16fa85a66a66d50f4f174f7d6c992b5dad6.pdf

摘要

背景：已有根据曲断和MRI图像自动推断手和腕骨的发育的技术，可推断亚成年年龄。这些技术要求软件可以：一、识别图像有效区域；二、推断发育情况；三、并基于参考人群把发育情况和年龄相联系。根据智齿自动估计年龄的step（1）已经用于3D MRI并在逐步优化（参考Unterpirker 2015）。
目标：开发基于下颌智齿曲断的自动技术的step（2）.
材料及方法：已有改良过的包含十个期的Demirjian牙龄推断法。回顾性地为每个性别每个期的FDI牙位表示法38牙选择20张曲断照片。两个观察者一起判断发育阶段。必要时，会有第三个观察者一起为智齿建立参考阶段。这个影像数据集用来训练自动分期的机器学习算法。第一，优化图像对比度设置，以评估智齿，并通过Adobe Photoshop CC 2017以标准化方式用矩形框标记。第二，将MATLAB的几种机器学习算法应用于自动牙龄推断。第三，使用不同的验证指标（准确度、rank-N识别率、平均绝对差、线性kappa系数）对分类性能进行了5倍交叉验证。
实验结果：迁移学习作为一种深度学习卷积神经网络方法，其性能优于测试过的其他方法。平均准确度为0.51，平均绝对差为0.6期，平均线性加权kappa为0.82。
结论：所提出的自动引导技术 根据曲断片对下颌智齿发育进行分期 的总体性能与人类观察者的分期相似。它将在未来的研究中进一步优化。它是实现全自动牙龄估计方法的必要步骤，而目前还没有这种方法。

简述

用改进的Demirjian牙龄推断法制定智齿各个阶段，然后人工建立数据集。用Adobe Photoshop CC 2017以一个矩形边框在图像中标示出ROI，Region of Interest（让软件只捕捉智齿的图像信息，而忽略边框外的其他信息。实际上，这一步模仿了全自动技术的step 1识别所呈现图像中的ROI）。边界框的尺寸统一为240像素×390像素。边框的长轴平行于牙齿的轴（参考原文图3）。随后，导入MATLAB R2017a，仅对边界框中的图像进行处理。使用contrast-limited adaptive histogram equalisation增强图像对比度（MATLAB函数adapthisteq，默认参数设置）。

对ROI（外观的前10个主成分，定向梯度的直方图）进行初步特征提取和简化以及使用Bag of feature（BoF）和SURF后，用MATLAB R2017a的分类学习器App测试了几种线性和非线性多阶段分类器（线性和二次判别分析、决策树、支持向量机、最近邻分类器、ensemble分类器）。最后，用基于AlexNet（MATLAB神经网络工具箱中）的迁移学习训练卷积神经网络（AlexNet最初是在ImageNet数据库的一个子集上训练的，用超过100万张图像训练把图像分为1000个类别，因此，网络较深的层学习了丰富的特征表示）。预先训练的AlexNet网络只通过替换最终的完全连接层来进行智齿10个阶段的训练。使用动量随机梯度下降（动量为0.9，初始学习率为0.001，最大训练周期数为50，最小批量为64）对权重进行了轻微的再训练。

结果：平均准确度（Rank-1 RR）为0.51。平均绝对误差为0.6期。平均线性加权Kappa为0.82。平均ICC为0.95。大多错误是判断成相邻阶段。

部分译文

简介

根据医学图像进行年龄的法医学推断，通常是由例如放射科医生或牙医等专业人员亲自推断，主要基于医学图像中不同解剖结构的发育状况。当牙齿在发育时，现有方法主要利用曲断片来估计牙龄。对于青少年和亚成年，由于恒牙列的其他部分已完全发育，所以通过智齿牙龄来估计年龄。已经有许多推断智齿生长的分期技术和根据参考人群发育阶段来估计年龄的方法。此外，对于青少年和亚成年，还是建议通过手/手腕的影像来推断年龄。如果手/腕骨发育完全，则评估锁骨的内侧端——无论是X片还是CT。虽然已经描述了区分牙齿（以及长骨、腕骨）发育阶段的标准，但确定一个阶段仍然容易受到观察者之间和观察者内部变化的影响。

因为阶段估计的误差是由人类的眼睛和大脑造成的，所以出现了自动分期技术和相关的年龄估计方法。自动化技术要求软件（1）识别图像中的感兴趣区域，（2）根据预定义的阶段对所呈现的发育程度进行分类，（3）根据制定的阶段和参考人群中的年龄相关信息估计受试者的年龄。为了开发自动化软件或训练现有软件识别和分类特定形状，训练数据集是必要的。

智齿自动定位软件（step 1）已经用于MRI。采用回归随机森林模型预测智齿三维MRI数据中的标志点。本研究的目的是找到一种方法来开发第二步的自动化算法，即为智齿的发育制定适当的阶段。为了简化这项初步研究中的问题，我们使用了曲断全景片的二维数据，重点放在下颌智齿的发育上。

材料和方法

研究人群与图像分析

从比利时鲁汶大学医院的病人档案中收集了四百张曲断全景照片。根据左下智齿（FDI 38）的发育情况选择X光片。两名观察者（J.D.T.和P.R.）一起为每个左下智齿确定发育阶段（参考原文表1，图1）。如有争议，则第三名观察员（P.W.T.）确定阶段。图像通过三星高清电视（型号UE32E45300W，分辨率1920 x 1080像素）或Phillips高清电视（型号65BDL4050D，分辨率1920 x 1080像素）显示。在Adobe Photoshop CC 2017中导入并增强图像以优化智齿的可视化效果，并保存为psd文件。

使用了改进的Demirjian牙龄推断法，除了8个Demirjian阶段，又新增2个阶段。第一，根据格Gleiser和Hunt（1955）的建议，增加了一个crypt阶段（阶段1）。第二，根据根尖闭合确定了一个附加阶段（cfr. Gleiser和Hunt（1955）阶段XV，Moorrees（1963）阶段A½或Kullman（1992）root阶段Aci）。此外，用Gleiser和Hunt阶段VII替代Demirjian阶段D，最后，改变了Demirjian阶段E的标准的顺序。

每个阶段每个性别选择20张放射照片。由于只关注影像学表现，所以对受试者的年龄或生物来源没有限制。排除标准为影像质量不足及智齿颊舌侧倾斜严重。当智齿疑似处于阶段2时，最常出现后一种特征（参考原文图2）。

图像处理及软件训练

用Adobe Photoshop CC 2017在每张底片上手动放置一个矩形边框来划定左下智齿周围的有效区域，这可以使分期软件只捕捉智齿的图像信息，而忽略外围信息。实际上，这一步模仿了全自动技术的step 1（识别所呈现图像中的有效区域）。无论什么发育阶段，边界框的尺寸标准化为240像素×390像素。边框的长轴平行于牙齿的轴。（参考原文图3）

随后，将Photoshop psd文件导入MATLAB R2017a，仅对边界框中的图像信息进行处理。使用对比度限制自适应直方图均衡增强图像对比度（MATLAB函数adapthisteq，默认参数设置）。对有效区域（ROI）（外观的前10个主成分，定向梯度的直方图）进行初步特征提取和简化以及使用Bag of feature（BoF）和SURF后，用MATLAB R2017a的分类学习器App测试了几种线性和非线性多阶段分类器（线性和二次判别分析、决策树、支持向量机、最近邻分类器、ensemble分类器）。最后，用基于AlexNet（MATLAB神经网络工具箱中）的迁移学习来测试深卷积神经网络方法。AlexNet最初是在ImageNet数据库的一个子集上训练的，用超过100万张图像训练把图像分为1000个类别。因此，网络较深的层学习了丰富的特征表示。预先训练的AlexNet网络只通过替换最终的完全连接层来进行智齿10个阶段的训练。使用动量随机梯度下降（动量为0.9，初始学习率为0.001，最大训练周期数为50，最小批量为64）对权重进行了轻微的再训练。

统计分析

对于训练和测试，我们采用了5倍交叉验证，每轮使用80%的图像进行训练，剩下的20%用于测试。计算不同的指标来衡量分期性能。Rank-N识别率（Rank-N RR）衡量了在自动分期过程中，正确结果（与观察员判断的阶段相对应）被排在第一、第二、……、第N位的次数。准确度由Rank-1识别率决定，反映了正确分期的百分比。同时，计算了自动和手动分期（编号1至10）之间的平均绝对误差。为了表示阶段的序数，我们计算了线性加权的Cohen’s kappa和类内相关系数（ICC）。最后，通过对软件和观察员判断的阶段进行交叉制表得到的混淆矩阵，用于检查系统误差。

结果

使用转移学习作为一种深度学习卷积神经网络方法，在分类精度上比其他测试过的方法至少高出10%。原文表2显示了平均Rank-N RR，其中平均准确度（Rank-1 RR）为0.51。平均绝对误差为0.6期。平均线性加权kappa为0.82，对不同交叉验证轮次从0.78到0.83变化。平均ICC为0.95，浮动范围为0.93～0.96。从交叉表（原文表3）可以清楚地看出，最常见的错误分类阶段是在相邻阶段。

讨论

开发了一种在曲断全景片上进行下颌智齿发育分期的自动化技术，并对其性能进行了测试。观察者间的可靠性（在自动和人类观察者分期之间）与仅包括人类观察者的研究相似。虽然平均（仅）51%的阶段判断正确，但平均绝对误差为0.6期，线性加权kappa系数为0.82，表明大多数误判为相邻阶段。因此，这种新的方法很有前景，并且为解决由观察者内和观察者之间的不一致所引起的年龄估计偏差开辟了一个新的视角。毕竟，再现性只有在极少数情况下才被视为最佳的。

观察者诱导的差异性

原文表4中关于观察者内部和观察者之间一致性的统计数据显示的研究（2002-2017年）包括了对发育中的智齿的评估，并呈现了一个适当的统计数据（不仅仅是一致性百分比）。请注意，在这些研究中，分期和测量结果容易产生差异。虽然测量值的差异性似乎更具随机性，但分期的差异性可以用多个观察者相关的效应来解释。首先，研究组之间制定阶段的系统差异可能是由不同的校准过程造成的。Kullman等人（1996年）曾说，未经校准的观察者在其校准中显示出显著差异。据我们所知，目前还没有研究比较来自不相关的研究小组的研究人员所做的分期。

其次，观察者可能不明确要制定的阶段。Corradi等人（2013年）将这归因于牙齿显示处于发育的中间阶段或由于射线照片不清晰，不同于Demirjian等人最初提出的那样判断最低阶段（1973）——他们使用人工智能软件来处理所谓的“soft evidence”。然后观察者会指出两个相邻的阶段及其相对置信度。相比之下，只判断一个阶段被定义为“hard evidence”。与仅使用hard evidentce相比，对于区分成年和未成年，soft evidence表现更好。

最后，再现性受训练的影响。经验的增加会导致再现性的增加。极端情况下，使用确定性的自动分期技术，可以避免观察者引起的结果差异。然而，当应用神经网络的监督训练时（正如当前研究中所做的那样），训练数据的监督注释中的任何错误会被自动化技术复制。

自动年龄估计方法

自动化方法意味着极好的再现性。在目前的研究中使用了一种分期技术，可以比较自动分期和人工观察分期。然而，当考虑连续数据（例如解剖结构的体积）并且ROI是自动确定的时候，这不能与任何人类观察者的行为进行比较。在这些研究中，只有年龄估计的性能可以与基于人类评估的方法进行比较。已经有人研究了用不同方法测量的体积之间的差异。

牙龄

关于自动牙龄估计方法的研究很少。没有牙齿发育研究，都是估计成年人的年龄。Czermak等人提出了自动逐行扫描牙齿牙骨质环（TCA）的软件（2006年）。分割是必要的，连续的数据用于估计年龄。该方法在年龄未知的个体上进行了测试，并与基于人工TCA计数的年龄估计进行了比较，但没有关于比较结果的报告。由于无法与已证实的年龄进行比较，结果被认为与当前研究无关。

Star等人利用锥束CT（CBCT）研究了10-65岁患者的牙髓/牙齿体积比（2011年）。使用Simplant Pro软件进行半自动分割，以便定义体积。计算了同一牙齿的实际体积与三维图像上测量的体积之间的差异。牙髓和牙齿的最大差异分别为21%和16%。以年龄为因变量，牙髓/牙齿比为预测因子，采用线性回归公式。从回归模型得出的切牙、尖牙和前磨牙的均方根误差分别为12.86、13.10和8.44岁。
……
……
……