MVG学习笔记(7) --自动标定和3D图形模型

自动标定

  在不了解相机标定的情况下，不可能比射影重建做得更好。

  在任意数量的视图中的一组特征对应中没有信息可以帮助我们找到绝对二次曲线的图像，或者相当于相机的校准。 但是，如果我们只知道相机的校准，那么我们就可以确定绝对二次曲线的位置。

  例如，假设已知对于从图像序列重建场景中使用的每个相机的校准是相同的。

  接着我们在每个图像中定义坐标系，其中我们已经测量了用于进行射影重建的相应特征的图像坐标。 假设在所有这些图像坐标系中，IAC是相同的，但它所在的位置是未知的。 根据这些知识，我们希望计算绝对二次曲线的位置。

  找到绝对二次曲线的一种方法是假设IAC在一个图像中的位置; 通过假设，它在其他图像中的位置将是相同的。 每个二次曲线的反投影将是空间中的圆锥。 如果三个锥体都在一个圆锥体中相遇，那么这必然是绝对二次曲线位置的可能解决方案，与重建一致。

  请注意，这只是一个概念性描述。 IAC当然是仅包含复杂点的二次曲线，其背投影将是复杂的圆锥。 然而，在代数上，问题更容易处理。 虽然它很复杂，但IAC可以用实二次形式（由实对称矩阵表示）来描述。 反投影锥也由实数二次形式表示。 对于IAC的某些值，三个反投影锥体将在空间中以二次曲线相交。

  通常给定三个已知具有相同校准的相机，可以确定绝对二次曲线，从而确定相机的校准。 然而，尽管已经为此提出了各种方法，但它仍然是一个非常困难的问题。

已知在无穷远处的平面

  自动校准的一种方法是通过首先确定其所在的平面来逐步进行。这相当于识别世界上无穷远的平面，从而确定世界的仿射几何。

  在第二步中，定位绝对二次曲线在平面上的位置以确定空间的欧几里德几何。假设人们知道无穷远处的平面，可以从一系列图像中反投影一个假设的IAC，并将得到的锥体与无穷远处的平面相交。

  如果正确选择IAC，则相交曲线是绝对二次曲线。因此，从每对图像中，一个具有这样的条件：背投影的锥体在无穷远的平面上以相同的二次曲线相交。事实证明，这给出了代表IAC的矩阵元素的线性约束。

  从一组线性方程，可以确定IAC，从而确定绝对二次曲线。因此，一旦识别出无限远的平面，自动校准就相对简单了。在无限远处识别平面本身就更加困难。

给定图像中的方形像素进行自动校准

  如果摄像机被部分校准，则可以从射影重建开始完成校准。

  人们可以在IAC表示的校准相机使用相当小的条件。一个有趣的例子是相机上的方形像素约束。这意味着在每个图像中都知道欧几里德坐标系。

  在这种情况下，位于世界无穷远平面内的绝对二次曲线必须与图像平面相交在其两虚圆点处。平面中的虚圆点是绝对二次曲线与该平面相交的两个点。

  通过图像平面的虚圆点的背投射光线必须与绝对二次曲线相交。因此，具有方形像素的每个图像确定了必须满足绝对二次曲线的两条光线。

  给定$n$个图像，然后自动校准任务变为确定在空间中满足一组$2n$个光线的空间二次曲线（绝对二次曲线）。等效几何图像是将该组光线与平面相交并且要求该组交点位于二次曲线上。通过简单的计数参数，可以看出只有有限数量的二次曲线在空间中满足八条规定的光线。因此，从四个图像可以确定校准，尽管达到有限数量的可能性。

3D图形模型

  我们现在已经描述了从图像序列计算逼真图形模型所需的所有成分。 从图像之间的点匹配，可以首先执行点集的投影重建，并确定相机在所选择的投影坐标系中的运动。

  使用自动校准技术，假设对捕获图像序列的相机的校准有一些限制，可以校准相机，并且随后将场景转换为其真正的欧几里德结构。

  知道了场景的投影结构，就有可能找到与图像对相关的极线几何，这限制了对应搜索与线的进一步匹配 ，即一个图像中的一个点定义了对应点应在的另一个图像中的一条线（此时还未知的）上。

  事实上，对于合适的场景，可以在图像之间执行密集点匹配并且创建成像场景的密集3D模型。 这采用三角化形状模型的形式，随后从提供的图像着色或纹理映射并用于生成新颖的视图。 该过程的步骤如图1和图2所示。

图1。 （a）来自比利时鲁汶市11个市政厅的三幅高分辨率图像（3000×2000像素）。 （b）从显示11个摄像机位置和点云的图像集计算的欧几里德重建的三个视图。

图2。 密集的重建。 这些是从图1的相机和图像计算出来的。 （a）无纹理和（b）整个场景的纹理重建。 （c）无纹理和（d）纹理特写靠近（b）的白色矩形所示的区域。 （e）无纹理和（f）纹理特写（d）的白色矩形所示区域。 使用Strecha 写的《PDE-based multi-view depth estimation》中描述的三视图立体算法计算密集表面。 数字由Christoph Strecha，Frank Verbiest和Luc Van Gool提供。

Strecha C, Gool L V. PDE-based Multi-view Depth Estimation[C]// International Symposium on 3d Data Processing Visualization and Transmission, 2002. Proceedings. IEEE, 2002:416-425.

视频增强

  我们通过对计算机图形学进一步应用重建方法完成了这一介绍。 最近，自动重建技术在电影工业中被广泛用作在真实视频序列中添加人造图形对象的手段。 相机运动的计算机分析正在取代先前使用的手动方法，以正确地对准人工插入物体。

  在视频序列中真实插入人造物体的最重要的要求是计算相机的正确运动。 除非正确确定相机运动，否则不可能以与背景视频一致的方式生成图形模型的正确视图序列。

  一般来说，只有相机的运动在这里很重要; 我们不需要重建场景，因为它已经存在于现有视频中，并且不需要视频中可见场景的新颖视图。 唯一的要求是能够生成图形模型的正确透视图。

  必须在欧几里德框架中计算相机的运动。 仅仅了解相机的投影运动是不够的。 这是因为欧几里得对象将被放置在场景中。 除非在相同的坐标系中已知该图形对象和相机，否则将看到所插入对象的生成视图相对于在现有视频中看到的场景的感知结构而扭曲。

  一旦摄像机的正确运动及其校准已知，就可以以逼真的方式将插入的对象渲染到场景中。

  如果正确确定了帧与帧之间的相机校准的变化，则相机可能会在序列期间改变焦距（变焦），甚至可能在序列中通过裁剪而变化主点。

  在将渲染的模型插入视频中时，如果任务位于所有现有场景的前面，则任务相对简单。 否则会出现遮挡的可能性，其中场景可能会遮挡模型的某些部分。 视频增强的一个例子如图3所示。

图3。 增强视频。 将动画机器人插入场景中并使用第五篇博文的图1的计算机相机进行渲染。 （a） - （c）序列中的原始帧。 （d） - （f）增强帧。 数字由2d3（www.2d3.com）提供。