[读书笔记/翻译]Multiple View Geometry in Computer Vision-1.7, 1.8, 1.9, 1.10

1.7 Euclidean reconstruction

之前我们学到的那些方法，参数并不齐全。如果镜头的完整calibration都知道了，则我们可以避免重建场景中的一些不确定性。

之前学到的都是投影重建，包含了不知道镜头或场景的calibration所重建出的所有可能，很多情况下这种方法并不足够。如果希望重建的模型能够获得物体的正确（欧式）形状，需要得到镜头的calibration。之前已经知道了，确定世界的欧式结构等价于指定无穷远平面和绝对二次曲线。假设我们已经使用calibrated cameras计算得到了投影重建，通过定义，我们知道这意味着每幅图的IAC都已知，假设第i幅图的IAC为wi。每个wi的逆投影是空间中的一个圆锥，而绝对二次曲线一定在这所有圆锥的交叉中。两个圆锥的交叉理论上是一个四阶曲线，但一直它们必定交叉于二次曲线，那么这个曲线会被划分为两个二次曲线。因此，两幅图像的绝对二次曲线重建并不唯一，我们会得到两个可能的解。而对于三个以上的图像，解是唯一的。从而得到了场景的欧式结构。

如果知道了场景的欧式结构，也就知道了绝对二次曲线的位置。从而可以将它投影到每个图像得到对应的IAC，然后calibrate镜头（校准镜头？）。这也就是上面说的，知道camera calibration等价于可以确定场景的欧式结构。

1.8 Auto-calibration

要确定绝对二次曲线的位置，我们需要知道至少一点点calibration of the cameras的知识。

假设对一个用于重建场景的图像序列，我们知道每个镜头的calibration都一样。对每幅图定义坐标系统，在每幅图中测量对应的特征的图像坐标来进行投影重建。假设在所有的图像坐标系中IAC一样，只是位置不知道，则根据以上的知识，我们可以计算出绝对二次曲线的位置。

一种方法是假设一副图像中IAC的位置，通过假设，其他图像中的IAC也具有相同的位置。然后逆投影得到几个圆锥，如果三个圆锥交叉于一个二次曲线，则这一定是绝对二次曲线的可能位置，与重建相符。

但这只是个假设，IAC一定是包含复平面点的，而逆投影也一定是个复圆锥。但IAC可以描述成实数二次方程格式，逆投影的圆锥也一定可以表现成实数四次方程。对IAC的某些值，三个逆投影圆锥就可以在一个二次曲线相交。

尽管知道三个镜头具有一样的calibration，就可以得到绝对二次曲线，从而得到镜头的calibration。但看看下面提出的这些方法，你会发现这仍然是个棘手的问题：

知道无穷远平面 auto-calibration的方法提出，首先确定无穷远的平面，然后得到世界的放射几何。第二步，找出绝对二次曲线在平面中的位置来得到空间的欧式几何。假设知道了无穷远的平面，就可以逆投影假设的IAC，得到想要的圆锥。如果IAC选择正确，则可以得到绝对二次曲线。因此对每对图像都可以得到一种情况，逆投影的圆锥在无穷远平面上一个相同的二次曲线处相交。这给出了IAC矩阵元的一个线性约束。根据线性方程组我们可以得到IAC，从而解出绝对二次曲线。如果知道了无穷远平面，这个方法就很简单。但无穷远平面本身的定义实质上很难。

Auto-calibration给定图像中的square pixels 如果镜头是部分calibrated，则可以通过投影重建来计算calibration。已知每幅图的欧式坐标系，则无穷远平面的绝对二次曲线一定在图像平面中有两个虚圆点（circular point）。穿过图像中虚圆点的逆投影射线一定与绝对二次曲线交叉，因此每个带有square pixels的图都可以确定两条射线必与绝对二次曲线相交。给出N个图，Auto-calibration的任务变成了决定一个空间的二次曲线，与2n个射线相交。也就是获取2n个射线与平面的交点，得到交点拼成的二次曲线。与8条射线相交得到的二次曲线的结果数量是有限的，因此4幅图就可以从有限的可能中确定calibration。

1.9 The reward I : 3D graphical models

注：以上讲的是我们学到了点的重建，我们就可以通过密集的点的集合来重建复杂的三维模型，而不是用线的重建。此节没有实质内容所以没翻译。

1.10 The reward II: video augmentation

自动重建技术现在被用来在真实电影中加入人工元素。最重要的一点是要得到镜头的正确运动。如果没有得到镜头正确的运动，不可能生成模型正确的序列，和背景融为一体。我们要的只是镜头的运动，不需要重建场景。

一旦知道了镜头正确的运动，和它的calibration，就可以使插入的物体以一种真实的方式渲染。如果帧与帧之间的camera calibration被正确定义，镜头会在序列中改变焦点长度（zoom）。甚至通过剪辑principal point都会改变。

如果要插入的模型位于现有场景的最上层， 方法还比较直观，否则就要面临遮挡问题。

第一章结束