Global Optimization with Viewpoint Selection for Scale-Reconstructable sfm Using Refration

文献阅读笔记

这篇论文是折射三维重建系列的第三篇（我读到的），第1、2篇都是2帧的三维重建（第一篇要求相机光轴垂直于玻璃介面，第二篇无需垂直）这篇是在第一篇基础上进行的多帧的对物体完整的三维重建。

本篇主要用前面的两帧重建结果作为初值，包括相机位姿、3d点坐标。从n帧中不失一般性地任意选择一个相机坐标系作为世界坐标系，然后对剩余的n-1帧一一与之进行2帧三维重建，得到n-1帧相对于世界坐标系的位姿变换、所有点在世界坐标系下的3d坐标。再运用BA来优化位姿和坐标，得到重建的结果。

本篇创新点：

1 . 帧的选择

概念：选择viewpoint，viewpoint的参数是相机位姿（旋转矩阵R、平移矩阵t、3d点坐标），基于几何约束验证来选取

相机坐标系是右手系，z轴于光轴同向，原点即相机中心。

$r_{in}$ 是空气中的ray， $r_{out}$ 是水中ray， $d$ 是由折射引起的光线的variation vector ，其方向同玻璃板法向量。

由于两帧的重建有时会得到几何上不一致的点(geometrically inconsistent points)，比如估计的3d点不在水中，而是在玻璃板中或者空气中，这种情况是由于量化误差(quantization errors)引起的，当有这种情况存在时，BA也无法得到好的结果，所以必须要剔除这样的帧，以保证几何一致性。具体而言：

某两帧中估计的所有3d点的z坐标都要满足（有两个公式是因为有两个相机坐标系下的3d坐标）

$z > w + l, 且 z^{'} > w + l$ $(1)$ （有人知道这个编号怎么能跟在公式后面并且靠右吗？）

选取符合条件的帧后，将其中同一个点的3d坐标取平均值，得到估计的3d坐标。用3d坐标和每一帧的相机位姿作为BA的初值

2. BA函数

引入了含2种重建误差的函数， $C^*$ 是估计的相机位姿， $P^*$ 是估计的3d点坐标，BA如下表示：
${C^*, P^*} =arg min(e_1 +\alpha e_2)$ $(2)$

其中， $e_1$ 是ray-gap函数， $e_2$ 是penalty函数， $\alpha$ 是参数。

具体而言：

$e_1 = \sum_{c, p}||\overline{r_{in}}^{c,p}-\overline{\hat{r_{out}}}^{c,p}||^2$ $(3)$

$e_2 = \sum_{c, p} [max(0, w+l-\hat{z}^{c,p})]^2$ $(4)$

引入 $e_1$ 是因为一般的BA是将3d点重投影到像平面，而有折射且在几何不一致的情形下，无法正确估计the position of the camera coordinates，比如所估计的 $r_{out}$ 的z轴分量为负，若将其重投影则是从相机后面投过来的，我们却错误地以为是从它真实的地方投影过来

$e_1$ 对n-1帧中的所有3d点进行求和，取^表示估计值，取-表示取单位向量，c,p表示从位姿c处观察到p点。 $e_1$ 比较俩向量的各个分量，用来表示两个向量方向一致（本篇没有用水，取的介质是空气-玻璃-空气，所以对于水下自然就不适用了）

${\hat{r_{out}}}^{c,p}={\hat{p}}^{c,p}-{\hat{d}}^{c,p}$ (实际上， $r_{out}$ 不是直接算出来的么？ $p$ 才是未知的好伐)

即使用来做BA的几何不一致的情形已在上一步去除了，其3d坐标点在优化过程中也会变得不一致(为啥？不懂！自圆其说？)

Even if the inconsistent candidates of initial values are removed by viewpoint selection, the positions of the point become inconsistent during optimization.

所以需要考虑不一致情况估计的点，在误差函数中加入penalty function $e_2$ ,其中 $\hat{z}^{c,p}$ 是p点的z坐标。