论文《Kinectrack:3D Pose Estimation Using a Projected Dense Dot Pattern》学习

摘要

(2014)Kinectrack是一种新颖的六自由度跟踪方法，仅使用普通硬件即可提供灵活的实时姿态估计。将标准Kinect设备的点阵发射器和红外摄像机组件分开，以允许发射器相对于固定摄像机自由漫游。该发射器组件的六自由度位姿是通过将相机观察到的密集点模式与预先捕获的参考图像匹配来恢复的。提出了一种新的匹配技术，在宽基线和自适应基线的情况下，只需要全密集点模式的一小部分就可以在固定摄像机的视场范围内有效地获取密集点模式的对应关系。提出了一种自动标定方法，以获得固定摄像机的内部参数和发射器的内部点阵参考图像。该系统同时恢复了发射器的六自由度姿态和分段平面三维场景结构。Kinectrack提供了一种低成本的跟踪对象的方法，无需任何机载计算，具有较小的尺寸和简单的电子设备。本文扩展了原有的ISMAR 2012提交，包括AR鲁棒位姿跟踪的演示，以及在平面和非平面场景中的匹配示例。
关键字： 六自由度跟踪，三维重建，kinect

1. Introdction

姿态估计是增强现实的基础，通过恢复两个坐标系之间的旋转和平移，将真实世界和虚拟世界统一起来。各种各样的姿态跟踪方法已经开发出来，以反映不同范围的问题设置，其中姿态估计是必需的。一些任务适合于硬件解决方案，如惯性测量单元，而另一些任务则受益于基于计算机视觉的解决方案。一些计算机视觉接近要跟踪的对象的“向内看”，而另一些计算机视觉则从对象上的摄像头“向外看”，根据对其周围环境的观察来推断对象的姿势[1]、[2]、[3]。每种方法在成本、精度、鲁棒性、形式转换器和设备功耗方面都有优势和局限性。本文提出了一种基于Kinectrack的低成本、基于计算机视觉的姿态估计问题解决方案，该解决方案只使用商品硬件，在被跟踪对象上使用最少的硬件提供准确、可靠的实时跟踪。与“查找”方法类似，跟踪装置不需要车载计算或与主机通信；与“查找”方法类似，它提供高旋转精度。

Kinectrack系统的布局如图1所示。红外点阵投影仪(IR)将大量伪随机排列的光线投射到任意的三维场景中。本文采用Kinect器件的激光衍射光学元件(DOE)作为发射体。投影在场景上的点由红外滤光相机观察。如果事先知道发射器中点图案的布局，这将允许相对于相机确定发射器的旋转和平移，即使不知道任意场景的三维几何图形，即使该几何图形随时间变化。

Kinectrack系统被设计成一个更便宜的替代品，可以替代六自由度的固定摄像机跟踪器。该系统的成本比商业上可用的系统低几个数量级，可以使用单个相机(尽管它可以扩展到多个相机配置)，并且只需要在每个跟踪对象上安装一个廉价的小型形状因子发射器。激光和光学硬件的例子如图2所示。

在这项工作中，主要的算法贡献有两个方面。首先，介绍了一种有效的方法，用于在较宽的自适应基线场景中寻找密集点模式视图之间的对应关系。其次，描述了一个自动校准过程，以确定漫游发射器的内部点阵布局和固定相机的内在参数。 这两个组件共同构成了一个新型的六自由度跟踪系统，具有上述现有系统的所有优点。

本文扩展了我们在ISmar 2012上的早期工作[4]并对系统的组成部分进行了深入的讨论，包括点检测和中心查找方法的细节以及平面和非平面场景结构匹配过程的示例。校准程序的描述被扩展到详细描述步骤，我们考虑了约束摄像机和投影仪的内在参数所需的最小视图数。概述了为响应重新定位的摄像机而重新校准系统所需的步骤，并考虑了多个摄像机或投影机系统。我们扩展了实验结果部分，包括一个增强的真实度应用程序，提供了强大的摄像机姿态跟踪在挑战性的，无文字的场景。

2.Background

手持设备的六自由度姿态估计是研究人员非常感兴趣的课题，在各种交互式场景中都得到了广泛的关注。本节扩展了对ISMAR 2012年提交的原始文献的回顾，并将提出的方法与投影仪相机系统的相关工作进行了比较。我们专注于基于视觉的跟踪器，因为大多数其他技术(例如惯性[5])可以与视觉垂直组合。也许一些最著名的跟踪技术，例如商用的Vicon[6]和OptiTrack[7]系统，已经使用多个固定的红外摄像机和场景的有源漫反射红外照明来定位放置在物体上的反向反射标记。这些标记在二维红外成像中表现为亮信号，通过三角剖分可以得到其三维位置。在一个对象上定位多个标记可以计算出三维旋转。虽然在三维翻译中高度精确，这些系统是昂贵的，需要努力建立和校准基础设施。为实现AR应用的高精度三维定向，漫游单元上的标记需要有足够的间距，可以显著增大漫游单元的物理尺寸。Williams和Fitzgibbon[8]用全息图解决了这一问题，用一个小的方向变化提供了一个大的外观变化，启发了我们目前的工作。

与“look in”设置相反的是，将标记固定在空间中，而不是移动单个相机来恢复六自由度的姿态。这些基于标记的技术，[11]、[12]已经被应用于各种AR应用中，现在甚至可以在手机上支持。研究了多种标记设计，包括伪随机点图案[11]。然而，这些系统在使用前需要仔细放置标记，视线和遮挡问题，跟踪的不准确性，以及对光线的敏感性。系统已经探索了投射多个固定红外标记的使用[13]、[14]来解决一些照明和遮挡的问题，与我们的安排相反。

完全不需要标记，同步定位和映射(SLAM)系统[1]、[2]从场景中自然发生的标记获得姿态，对于涉及视频叠加的应用，只需要一个相机。SLAM和我们的方法都需要一种场景的基础结构形式。我们的方法只需要场景提供准平面的匹配块，因此也适用于由无纹理表面控制的场景。SLAM适用于随用户移动的传感硬件的免费AR。我们的方法需要一个固定的相机，它决定了工作体积，但反过来提供了自由漂移，每帧绝对六自由度姿态。即使场景几何体随时间变化，因此绝对距离不可观测，也可以使用五自由度姿态（平移方向和方向）。相机放置灵活，设置快速。

提出了几种跟踪激光指示器作为交互器件的系统。在很多情况下，它们本质上是两自由度的跟踪器[15]、[16]、[17]。研究了包括滚转[18]和一维射影变换[19]的三自由度。与我们的工作密切相关的是基于射线投影仪的六自由度跟踪器。Wienss等人的[20]的“Sceptre”系统投射出一个形状像“F”的七点图案。我们的系统的不同之处在于，投影模式的足迹要大得多，我们可以匹配模式的一小部分，同时获得准确的姿态。使用广角投影光束，只需要在每个帧上看到一小段投影模式，就可以实现更大范围的发射器姿态，并提供对遮挡、非平面场景和不同表面反照率的容忍度。一个多摄像头的实现将提供完整的360度姿态，如果需要。与七点系统的匹配问题比我们的简单，因此允许多个重叠模式的匹配，虽然当然时间或波长的多路复用在概念上很简单，但我们还没有涉及到这些重叠模式。Latoschik和Bomberg[21]描述了将规则网格投影到平面上的系统。虽然这在一定程度上提高了精度，但它仍然要求网格的中心光线在每一帧中都是可见的，这使得它不能容忍改变反照率或遮挡。Albitar等人提出了一种模式设计，通过结构化光编码方法来促进匹配。我们的匹配方法适用于任何伪随机点模式。

在[23]系列研讨会上，对投影摄像系统进行了广泛的研究。针对可操纵的[24]和可自由移动的[25]投影机，提出了相应的标定技术。还提出了利用已知投影模式对摄像机和投影仪进行同步校准的方法。Johnson和Fuchs[27]演示了相对于固定摄像机的实时投影仪跟踪，而不需要特定的投影仪模式。对投影图像的限制是它为匹配过程提供了足够的明显特征。使用Raskaretal提出的方法在多平面场景几何中演示了该系统。

这项工作不同于投影机-相机的设置，使用一个简单的随机密集点图案发射器代替传统投影机。随机点模式的使用对校准和匹配都提出了挑战。投影机系统，无论是使用特定的校准模式或任意图像，都可以访问发送到投影机的原始图像。在这项工作中，内部投影模式是未知的，我们提出了一种方法，以恢复内部点模式作为项目相机校准过程的一部分。我们还提出了一种新的匹配技术，专门针对由模糊点组成的随机点模式，这种模式阻碍了标准的特征匹配方法。

2.1 Wide-Baseline Dot Pattern Matching

我们的方法的关键是建立一个大的伪随机分布的三维点的两个视图之间的对应关系。在这种情况下，对应关系是由一个简单的变换引起的，例如相似性变换或单应性，研究人员先前已经设计了用于点模式查找的哈希方案。

Kolomenkin等人的[29]解决了“lost in space”的问题，即将天文图像匹配到参考星图中，以便使用安装在飞船上的摄像机恢复航天器的姿态。这种情况下的相机图像通过相似变换与参考相关，具有未知的二维旋转和平移。提出的解决方案使用了一种基于星星对之间的角距离的投票方案，该方案对添加或缺失星星形式的噪声具有鲁棒性。Lang等人使用几何哈希方法求解了尺度未知的地面相机的相似性变换。两个星号用于形成一个规范框架，并且在这个空间中另外两个星号的位置提供一个散列代码。Nakai等人使用透视图[31]和最近邻图子集的仿射不变量[32]匹配大型数据库中的文档图像。它们通过计算每个点的最近邻的多个子集的不变量来提供对缺失点的鲁棒性。

我们的工作非常受这些技术的启发，但我们需要匹配，以便在可能没有大平面区域的场景中，在透视扭曲下工作。我们必须依赖于本质矩阵[33]提供的一些较弱的约束，而不是场景之间的单应性或其他简单关系。

我们提出了一种基于这种哈希方法的技术，该技术充分利用了所有可用的点，同时对丢失的数据保持鲁棒性。在我们的方法中，一个投票方案作用于正则框架，它正确地模拟了噪声对用于定义正则框架的点和用于哈希的点的影响。图3说明了我们正在解决的匹配问题。固定摄像机观察多平面场景，在这种情况下是墙和天花板之间的交叉点。该相机装有红外滤光片，以观察漫游红外发射器捕捉到的部分点状图案。我们的目标是将观测到的序列中的平面小块与更大的存储信号模式匹配起来。为了计算每个平面贴片的发射器参考图与观测图像之间的单应性，需要四个或更多的点对应。来自一个或多个平面的通信允许计算漫游发射器的姿态。

3. System Overview

本节概述了匹配和姿态估计算法。该系统由标定阶段和运行阶段两部分组成。

校准阶段同时计算系统的几何参数和二维查找表(LUT)，以便在运行时进行有效匹配。所要确定的几何参数是固定相机的固有参数，以及发射器中射线束的精确布局，称为参考模式。LUT索引发射器参考模式的五个点子集，我们称之为风筝。每个风筝提供射影不变量(每个风筝两个标量)，用于限制在每个帧的观察点模式和发射器参考模式之间搜索相关响应。通过全射影变换，将射影点的像与发射源的参考模式相关联。因此，需要四个点来定义一个不受平面方向和发射器姿态影响的标准帧。然后需要额外的点在规范框架中进行哈希。所需的每一个附加点都会增加哈希方案因检测失败而丢失点而失败的可能性。正如上面的工作所观察到的，哈希代码的唯一性和对缺失点的鲁棒性之间存在着权衡。

在运行时，一种有效的低阶图像处理技术被用来确定观察到的点模式的中心亚像素精度。相邻点被分组以形成风筝，用于索引到LUT中，并对发射器参考模式中的假定对应进行投票。用RANSAC方法验证了支持度最大的对应假设。用基本矩阵的线性相关来评估每一个运动假设。最后在最佳假设的基础上，对漫游发射器的六自由度姿态参数进行最后的束调整。我们将详细描述运行时阶段，然后是计算阶段，但在开始之前，我们将介绍一些基本概念。将漫游发射器投射的参考模式表示为一组2D点。

在运行时，检测输入图像I中的点，给出测试集

我们的匹配程序的目标是在P和R之间高效的计算出对应点 { ( m k , n k ) } k = 1 K \left\{(m_k,n_k)\right\}_{k=1}^K {(mk​,nk​)}k=1K​。

在此基础上，通过对无噪声点的基本矩阵E的估计，可以恢复模式发射器与相机之间的转换关系

对于有噪声的点，双视图束调整计算量小，并且产生高质量的位置估计。

4. Findind Correspondences

该系统的核心是快速识别参考点和检测点之间的相关点。在点检测中，我们需要一种能够处理特征变换、漏点和位置误差的方法。本节首先从高层次描述这个过程，然后详细介绍。

很明显，如果每个点都带有某种独特的标识符，例如条形码或独特的颜色，那么通信将是微不足道的。现有的实现这种编码的技术，例如时间编码或光谱调制，将大大增加发射器的并发性和成本，并对运动速度或场景颜色引入额外的限制。此外，没有这样的技术能够可靠地区分我们所投射的数千个点(用时间代码区分65,536个点需要16帧编码窗口)。相反，如果可行，这些技术可以与我们的过程一起使用，以减少歧义，在多个发射器存在的情况下进行测试。

由于没有明显的特征，我们把点分成小的空间组——我们选择使用称为风筝的五点组。平面五点群产生两个实值透视不变量，它们被量化，并作为索引被用于二维查找表中，以生成假定的对应关系。每个输入帧提供了大量的组，即使在没有很多大平面的场景中也是如此，经过多次剪枝和验证，得到了可靠的对应关系，RANSAC估计的E提供了准确的姿态。现在将更详细地描述这些阶段。在某些情况下，描述是根据opencv库[34]中的函数进行的，以便对所涉及的计算进行精确描述。

4.1 Dot Detection

采用一种高效的低阶图像处理技术[35]，从场景中投影的密集点模式图像中提取精确的点中心。图6给出了点检测算法的主要步骤。空间自适应阈值是通过在每个像素处减去15 $\times$ 15补丁中的平均值，然后使用基于级别集的连接组件算法来实现对比度归一化。零水平集进行分析来确定封闭曲线,这是适当的大小和长宽比的过滤。其余曲线的质心用作点中心。使用积分图像的技术的有效实现导致640*480图像的计算成本为5 ms。

4.2 Generating Quads and Kites

为了可靠的跟踪，我们必须从任意的点模式中提取风筝，以便在上面描述的干扰下恢复相同的风筝。Delaunay三角剖分对于相似变换是不变的，而不是透视，因此乍一看，作为投影不变分组原语的基础似乎是一个糟糕的选择。然而，如图4所示，在我们的实现中也得到了验证，即使基准和测试之间的基线非常严格，Delaunay三角形仍然非常稳定。在一个测试德劳内三角剖分稳定性的实验中，该方法被应用于合成图像，这些图像代表了一个以越来越倾斜的角度观看的平面场景。将每个斜视图得到的Delaunay三角剖分转换为一个正面视图，在水平轴上缩放进行比较。绝大多数(80:2%)的边缘不受60度视角变化的影响。因此，我们通过将相邻的德劳奈三角形中的点分组，就可以识别出我们称为四边形的四点群。然后通过列举由一条德劳奈边连接到给定四边形点的所有点来生成五点风筝。我们称这些相邻的点为“尾点”。“请注意，基本上有两种类型的尾点:那些通过两条边（即相邻三角形上）连接到四边形的，以及那些仅通过一条边连接的。根据经验，我们发现，较宽松的定义（即包括这两种类型）总体上提供了更可靠的对应关系。

4.3 Invariants of Kites

风筝用点表示 { k 1 , k 2 , k 3 , k 4 , k 5 } \left\{k_1,k_2,k_3,k_4,k_5\right\} {k1​,k2​,k3​,k4​,k5​}，其中$k_{1...4}$是四边的点，$k_5$是尾点。为了计算群的两个标量不变量，我们确定了将四元组映射到单位平方的单应性，并将该单应性应用于$k_5$，得到$k_5^{\prime }$。那么组不变量就是$k_5^{\prime }$的（x，y）坐标。根据OpenCV函数，我们计算：

需要注意的是，这个计算假设四顶点的排列顺序总是相同的，而实际上是四次对称。有很多策略可以克服这个问题。最简单的方法是尝试所有四个旋转，并为每个旋转生成不变量。这将使总的对应数增加四倍，但总的来说将增加正确的对应数，提高RANSAC估计数，特别是在高度倾斜的角度。这种超采样可以在运行时或在构建查找表时的校准时完成。在运行时这样做会增加此阶段的成本，但会减少模糊性，而将所有四个假设都输入LUT只有在LUT是稀疏的情况下才有效。由于我们只有二维不变量，而且必须考虑值上的噪声，所以首选运行时方法。

4.4 Correspondences Voting

在运行时阶段，M测试点由一组quad表示，每个quad进一步生成一组风筝。运行阶段如图7所示。在定标时，参考点也被划分为四边形和风筝，因此在点集之间寻找对应关系等价于在四边形之间寻找对应关系。校准时构建的LUT是一个二维数组，其中每个单元从二维风筝不变映射到四元索引的柱状图，存储为（引用四元，权重）对列表，其中权重表示在训练时将引用四元添加到该单元的次数。我们按照第4.5节对LUT的结构进行描述。

图7说明了运行时四元组识别过程。在当前帧下，对红外摄像机中观察到的投影点模式进行了三角剖分。每一对相邻的德劳奈三角形构成一个四边形。quad的邻近点产生一组与quda相连的风筝。每只风筝的尾端点都由相同的变换映射而成，该变换将四个四方点映射到LUT规范框架中的单位正方形。每个LUT BIN都包含一个四元索引的柱状图，该柱状图来自参考模式，在LUT训练期间也为该BIN投票。将每个索引bin的柱状图组合在一起，形成与当前帧中的测试四元匹配的潜在参考四元上的柱状图。模态参考四元组索引被选为与当前测试四元组的潜在匹配项。从这个四坐标对应关系中，计算一个单应性，然后在周围点上生长的区域生成一个点对应关系列表。如果这个列表足够大(通常我们需要50个通信)，则将通信添加到全局假定的通信列表中。下面的算法详细描述了在运行时生成假定通信列表的过程。

4.5 Building the Quad Look-Up Table

图5概述了前一节中填充在线匹配所需的quad查找表的训练过程。Delaunay三角测量是在全发射源参考模式上进行的。每两个相邻的Delaunay三角形形成一个quad，与相邻的尾端结合形成一个风筝。风筝通过将四个四边形点映射到单位正方形的转换映射到LUT的标准框架中。然后，对当前四元索引的投票记录在对应于风筝尾部点转换坐标的lut bin中。quad及其邻近点组成的风筝组中的每只风筝都会重复投票过程。为了正确地模拟噪声的影响，在进行标准帧映射之前，通过在图像空间中的点的像素位置上添加高斯噪声，为每个风筝生成若干样本。在第7部分的实验中，我们添加了$\sigma$ = 0.25像素的各向同性高斯噪声。在带噪声的重复采样过程中，LUT中的每个bin维护一个quad索引bin的次数计数。然后，对由发射器参考模式的Delaunay三角剖分生成的每个四边形重复该过程。训练的结果是一个二维数组，其中每个元素都包含一个直方图，直方图上的四项指标投票给对应于该元素的标准帧中的位置。

5. Pose Estimation

为了估计未知场景中相对于相机的发射器姿态（达到比例），我们首先使用RANSAC方案和Nister的五点位姿算法从点对应关系中估计出基本矩阵[36]。如果场景是平面的(假设在校准时已知)，我们估计一个单应性，并计算姿态，尽管建议至少有两个平面是可见的。在静态场景的情况下,可以粗识别校准时(静态)地区的相机的视场平面,所以RANSAC目标可以被修改,以确保代表所有平面都包括在内,和平面内的深度插值可以计算绝对平移量。发射器姿态的RANSAC估计用于初始化发射器姿态和场景结构相对于以摄像机为中心的世界坐标系的束调整(或“金标准”估计器[33])。对于两个视图，这是相当堆的，但是通过只运行对应的子集，可以进一步获得。就精确度而言，即使只包含少量的通信，这一步也是值得的。

6. Calibration

第5节中描述的位姿估计方法假设摄像机和投影仪的固有参数都是已知的。为了确定投影仪在全局帧中的位置，还需要相机与场景相关的姿态。本节描述一种自动校准方法，该方法从投射到单个平面上的多个发射器图案的图像中估计摄像机和投影仪的内在参数和固定摄像机的姿态。

该系统的校准分两个阶段进行。第一阶段确定摄像机的内部特性、发射器引用模式，以及如前面4.5节所述，用于索引发射器引用以进行匹配的查找表。当一个设备需要这种初始校准时(相机或发射器)首先介绍。第二阶段确定相机相对于场景的姿态，并可选地确定相机视场中静态的粗糙平面区域的位置。

在实践中，这两个校准阶段都是同时进行的，使用类似于捆绑调整的过程，但值得强调的是，如果相机复位，更新校准所需的额外工作量要小于整个校准过程。如果相机被重新定位，同样的校准过程被忽略，但保持固有参数不变，只估计相机和发射器的姿态参数。需要更少的图像，因为不需要注意确保完整的发射器模式是按照图像序列捕获的。如果已知摄像机和发射器的内在特性，单幅图像就足以确定相机相对于场景的位置，但在实际中，使用多幅图像对姿态估计提供额外的约束。

6.1 Geometric Calibration

几何标定过程如图8所示。固定摄像机通过观察多个发射姿态在目标平面上投射的点模式来捕捉一系列图像。第j个发射器姿态的相机、发射器和目标平面设置如图8第一阶段所示。此设置用于捕获流程第二步中显示的重叠图像序列。我们用5*5网格模式，每幅图像观察到的面积占整个发射器参考模式面积的九分之一。在需要的图像数量方面的限制因素是相机图像中投影点的大小。使用4.1节中描述的算法，直径为4个像素就足够精确地检测点中心。

通过引入序列重叠图像，逐步构造出发射器中的参考图像。第4节描述的匹配技术用于发现序列中的下一幅图像与之前观察到的发射器参考模式的部分之间的对应关系，如图8的第三步所示。每个发射器姿态对应一个单应映射，它从发射器的归一化坐标映射到摄像机的归一化坐标。此单应性用于将新图像以及任何新观察到的点注册到发射器引用中。

设$r_n$为发射器引用中的第n个点。位姿为j的发射器将$r_n$投射到$q_{jn}$的目标平面上，$z_{jn}$的摄像机在标准的摄像机坐标下对其进行观测。在图像坐标系中观测到的点$\widehat{z_{jn}}$与相机模型$z_{jn}$有关:

由摄像机标定矩阵组成，


一个径向畸变模型:


从匹配过程中得到的单应性估计$H_j$关系到所观察到的摄像机图像和位于$j$位姿的发射器的参考图像。利用标准的全景拼接方法，选择第一个发射体位置与平面平行，得到了$H_j$和$r_n$的初始估计。这并不影响最终确定位置的精度，因为整个量规受到相机内部特性的限制。使用标准值($f=1,c_x=0,c_y=0,k=0$)初始化内部函数。

在计算了所有观测点的对应关系之后，我们通过使用具有Huber成本函数的鲁棒Levenberg-Marquardt实现，将给定的束目标最小化，从而改进了同构图和参考点r_n的估计。

这种束调整(参数由同伦表示)是在添加校准序列中的每个图像时执行的，以保持对发射器参考模式的一致估计。第四阶段图8显示了添加所有图像后对整个发射器参考模式的初始估计。

让（固定）摄像机位置由34矩阵$P_c$给出，发射器位置由$J=1\dots j$的投影矩阵$P_j$给出。固定相机$P_c=[R_c,t_c]$需要一个旋转和平移，每个发射器姿势$P_j=[R_j,t_j]$需要一个额外的旋转和平移。固定世界平面用43矩阵M表示，我们可以自由设置坐标，使其与Z=0平面对齐，得到

给定$M,P_c,P_j$，第$j$个单应性$H_j$由
利用Simon等人的方法对改进的同形图进行分解。[37]提供初始旋转和平移（达到比例），以初始化相机和发射器六自由度姿态参数化的第二束调整过程。由于未知相机内部参数的初始误差，从初始成对同构图中获得的欧几里得姿态参数不具有全局一致性，因此有必要进行两级束调整。由于违反了小残差假设，束调整的鲁棒Levenberg-Marquardt实现无法从此起点收敛。同形束参数化通过提供一组更加一致的姿态估计作为欧几里得束的起点，扩大了收敛范围。第二个捆调整阶段由目标总结。
图8中的第五步为六自由度位姿参数化的束平差收敛后，发射器参考图中每一点的残差。发射器构成$P_j$只是丢弃,系统标定参数($R_c,t_c,c_x,c_y,f,k$)被保留和恢复发射器参考模式,的最后阶段图8所示。

Triggs[38]决定了一个平面场景的视图数量，这是为了约束相机的内在参数所必需的。与一个平面场景的m个视图相关的同伦足以约束所提供的摄像机的内部特性

其中v为未知内部参数个数。本工作中使用的标定配置，包括摄像机、发射器和目标平面，如果发射器相对于平面保持固定且摄像机移动，则等效于移动摄像机查看纹理平面。为了约束我们的相机模型的内在参数，在进一步用重叠视图序列解释完整的发射器参考模式之前，需要对相同的参考模式进行四个或更多的视图。