本文提出了一种半自动方法，通过2D/3D配准结合图像金字塔纹理融合，构建具有真实口腔图像的牙科模型。首先，使用三维扫描仪和数字相机获取3D牙齿模型和口腔内图像。然后，利用特征点对齐和局部轮廓匹配计算相机姿态。接着，应用纹理映射并标记接缝，最后通过图像金字塔融合消除接缝，生成无明显缺陷的纹理模型。实验结果显示，该方法能有效构建高质量的口腔美学修复模型。
本文是阅读论文《A user-friendly method for constructing realistic dental model based on two-dimensional/three-dimensional registration》与《基于二维图片和三维光学扫描数据的口腔美学修复系统的研究》的笔记
摘要
目的： 本文旨在获得一个具有真实图像纹理的牙科模型，并提高牙科模型的渲染效果。
方法： 本文提出了一种基于2D/3D配准的半自动方法来构建具有真实图像的真实牙科模型。首先，通过三维扫描仪和数字单镜头反射相机获得一个三维数字牙科模型和三张口腔内图像。其次，利用单目标优化算法计算每个口腔内图像的摄像机投影位姿。第三，对相机姿态进行初步投影纹理映射，标记两个纹理之间的接缝。最后，根据图像金字塔对标记区域进行融合，以消除明显的接缝。
研究结果： 本文提供了一种构建一个真实的牙科模型的方法。该方法可以将三个口腔内图像映射到牙科模型上。实验结果表明，通过简单的相互作用构建了没有明显变形、脱位和接缝的纹理牙科模型。
关键字：
2D-3D registration,
3D digital dental model,
Image pyramid,
Local contour,
Projection texture mapping
正文
基于牙冠上能找到的清晰拐点和局部轮廓特征，文章提出一种针对牙齿的多特征2D-3D配准方法，半自动的构建真实感牙列模型，并通过基于图像金字塔的纹理融合方法消除牙模上存在的明显接缝。
文章主要贡献包括：（1）针对2D牙模投影图像与口内照的点、轮廓、形状等相似特征太少的问题，使用少量且不需要特别精准的人工交互查找2D牙模投影图像与口内照上牙与牙的邻接处拐点，根据这些特征拐点实现2D图像对齐；（2）在2D-3D配准过程中，文章根据2D图像对齐结果，用牙齿局部轮廓的欧式距离计算2D牙模投影图像与口内照的相似性测量，并通过相机局部空间旋转搜索和单目标优化计算获得最佳相机姿态。在投影纹理映射时，该方法使纹理能够很好的与牙模对齐，有较好的准确性和有效性；（3）针对纹理接缝两边的图像，通过构建其对应的Laplacian残差金字塔，并对各自金字塔的每一层图像进行加权合并，重建出融合后纹理图像，消除了牙模上的明显接缝，构建出较完整的真实感彩色牙模。
纹理数据包括右侧口腔内图像、额侧口腔内图像和左侧口腔内图像。使用这三张图像的原因是，所有牙齿的唇部和颊部纹理都可以相对完全地获得。首先，由于牙齿之间有明显的咬合，仅通过一张口腔内照片就无法获得上颌牙列的完整纹理。其次，如果只拍摄右侧和左侧的口腔内图像，则上颌中切牙和上颌侧切牙的纹理不完整，因此该任务至少需要3张口腔内图像。
文章提出的构建一个真实的上颌牙科模型的流程如下图所示，其中主要包括以下步骤：1、准备输入数据，包括一个牙科模型的三角形网格和从三个方向拍摄的三张口腔内图像。2、使用多特征2D/3D配准方法计算每幅图像的最佳相机投影姿态。3、使用步骤2中计算的相机姿态执行投影纹理映射，并标记纹理接缝。4、基于所提出的方法融合纹理接缝。
整体流程图：(A)输入数据；(B)基于多特征的2D/3D配准；©投影纹理映射；(D)纹理融合
单张口内照的投影矩阵求解
2D-3D配准的关键是计算口内照和视图投影的相似性测度，通过旋转相机搜索与口内照最相似的视图投影，计算得到口内照对应的相机投影姿态，流程图如下图所示。
最优相机姿态求解流程图
首先在牙模和单张口内照上人工点选标记3对牙齿，通过对口内照和视图投影进行二值化处理，得到具有清晰牙尖轮廓特征的二值化图像。然后通过ORB（Oriented FAST and Rotated BRIEF）快速特征点提取算法计算获得牙冠二值化图像上的明显拐点，并对这些点进行过滤，保留关键点。接下来根据3对人工标记点查找两张二值化图像上的临近拐点，基于这3对拐点对口内照地进行仿射变换，使其与视图投影对齐。对齐后通过经典的轮廓提取算法分别提取对齐后两图像上外包围轮廓，也就是牙尖轮廓，并计算两轮廓点集之间的欧式距离𝐷，进而计算出两图像的相似性度量𝐶。相机分别绕𝑋轴旋转m次和绕𝑌轴旋转n次，搜索与口内照最相似的视图投影，获得单张口内照对应的相机投影姿态。3张口内照分别重复以上步骤即可。
投影采样
在世界坐标系中，牙模中心、相机焦点都在坐标系原点上，相机分别绕X轴、Y轴旋转𝜃𝑥 和𝜃𝑦 ，获得投影图像。
投影采样
基于牙齿特征点的2D图像对齐
标记牙齿对主要用来查找患者牙冠唇面和颊面的正视图轮廓上牙与牙的邻接处拐点。首先在口内照和三维牙模上标记牙齿对，分别得到两个点集A1,A2 ， 每个点集包含3个点。
标记完点后，对口内照进行二值化处理，去除无用纹理颜色。然后通过ORB快速特征点提取算法找出二值化图像上的所有特征点组成点集。
根据牙尖局部轮廓的特点，点坐标y值越小，越接近目标点。
然后建立一个搜索规则，只搜索点的坐标𝑥值小于标记点坐标𝑥值的点，再找出与标记点距离最小的点。这样三个标记点就能找到三个牙冠唇面和颊面的正视图轮廓上,牙与牙的邻接处拐点。
查找特征点：（a）是投影图像；（b）是投影图像的二值化图像；（c）是口内右侧位像；（d）是口内右侧位相对应的二值化图像；图中红色点是标记点，黄色点是ORB检测出的点，蓝色点是查找到的目标点。
基于牙冠局部轮廓计算最优相机姿态
两图像对齐后，分别提取口内照和投影图像的局部牙冠轮廓，得到每颗牙齿的牙尖部分的轮廓。
计算轮廓距离：（a）口内右侧位像的二值化图像；（b）牙齿光学扫描数据在二维视窗上的投影图像的二值化图像；（c）两个二值化图像根据特征点对齐后的轮廓信息
（c）中的point1、point2、point3是对应标记点在二值化图像上查找到的目标点；轮廓a是根据（a）中二值化图像提取的轮廓；轮廓b是根据（b）中二值化图像提取的轮廓；di 、dj是轮廓a上随机点到轮廓b的最近距离。
基于图像金字塔的纹理融合
纹理融合的目的是保证三维模型上接缝两边的图像平滑过渡，基本步骤可以分为三步。第一步，根据口内照对应相机姿态，计算牙模不同区域的纹理坐标，找到相邻纹理之间的接缝。第二步，分别提取相邻纹理上接缝两边的图像，构建对应的Laplacian残差金字塔，并保留高斯金字塔下采样最顶端的图像，对各自金字塔的每一层图像进行加权合并。第三步，融合图像插入原始图像，重建出融合纹理。对于3张不同口内照分别重复以上步骤，具体流程如下图所示。
纹理融合流程图
在世界坐标系中，以牙模重心为旋转中心、垂直于XZ平面放置切割平面。根据牙齿排列的一般特征，这里令α=60，n=3，这样分别得到PolyData_1、PolyData_2和PolyData_3。对应下图中的红色、黄色、蓝色区域的模型。
牙模分割
通过初步投影纹理映射，将3张口内照映射到对应的三角网格区域。这时三维牙模上会有明显接缝如下图中的（1）图所示，（1）中红色线表示三维牙模上的接缝L；（2）中的蓝色线表示三维接缝L在口内右侧位像上的投影L’。（3）中的蓝色线表示三维接缝L在口内正位像上的投影L’’。
纹理接缝
注意，当投影变换矩阵改变时，轮廓形状会改变。如上图中的（2）、（3）图所示，图中的蓝色线段对应接缝𝐿在不同纹理图像上的投影𝐿′和𝐿′′，它们的形状完全不同。
在融合之前，要“拉直”𝐿′和𝐿′′，使其变成竖直的线段。拉直的过程是以𝐿′的顶点为准，线段上的其他点以及每个点左右两边k个像素水平移动，让线段上的其他点与顶点竖直方向对齐。
提取接缝两边像素
从口内照提取出需要融合的图像𝐺1、𝐺2 后,再加上上图中的遮罩图片，通过图像金字塔来实现加权融合，得到融合后的像素𝐺。上图（3）的遮罩图像可以看作是融合权重，黑色可以看作权重为0，白色看作权重为1，权重越大，上层图像保留的细节越多。最后将𝐺分别插回图像，更新三维牙模上的纹理信息，即可得到没有明显接缝的真实感牙模。
实验结果和分析
如下表所示，较好的做法是像对照组、实验1和实验2一样，将标记点设置在选中牙冠的左半部分，最好在靠近牙龈线的位置。
同一口内照不同标记点对应的2D-3D配准结果
使用基于图像金字塔的纹理融合方法，得到两张融合后的局部图像，如下图所示。
融合后的局部图像
将两张融合图像分别插回原纹理，如下图所示。
融合图像插回原纹理图像
更新三维牙模上的纹理信息，重新投影纹理映射，结果如下图所示。
纹理映射结果
纹理映射结果
总结
提出了一种基于牙齿多特征的真实牙科模型的方法。该方法通过将牙科三角网格模型与多个二维口内照相结合，可以半自动地构建真实的上颌牙科模型。
参考文献
[1] Ke Y, Zhao W, Yang S, et al. A user-friendly method for constructing realistic dental model based on two-dimensional/three-dimensional registration[J]. Engineering Computations, 2020.
[2] 赵文杰. 基于二维图片和三维光学扫描数据的口腔美学修复系统的研究[D].天津工业大学,2020.DOI:10.27357/d.cnki.gtgyu.2020.000467.
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
