论文笔记：Geo-Neus: Geometry-Consistent Neural Implicit Surfaces Learning for Multi-view Reconstruction

贡献

1. 论述说明体渲染积分和基于某一个点（零集）的SDF优化之间是存在gap的。进而给出建议，表示需要直接监督SDF网络，从而提升神经隐式表面的学习；
2. 基于理论分析，可以直接定位到SDF网络的零集合，并且应用多视图几何一致性来显式地监督SDF网络的训练。这样做的好处是，可以使得SDF专注于优化真正的表面；

- 效果：
号称是能够在复杂的细物体以及大型的平滑区域上都获得好效果。论文中给出的定性与定量结果有：

方法

给定某一个目标物体有位姿的多视图影像，Geo-Neus可以实现没有mask监督的表面重建。在体渲染的过程中，目标是直接优化SDF。
在这一节中，首先分析了颜色渲染的内在偏差，这种内在偏差会导致渲染颜色和内在几何之间的不一致性。
然后，将引入显式的SDF优化，实现几何一致性。

理论分析：有偏的颜色渲染

所谓颜色渲染中的有偏是指，物体表面的真实颜色和渲染颜色之间的有偏性。

对于一个不透明的固体 $\Omega \in {\mathbb{R}}^3$而言， 其不透明度可以由一个指示函数$\mathcal{O}(p)$来进行表达：

$$\mathcal{O}(p)=\{\begin{array}{l}1,p\in \Omega \\ 0,p\notin \Omega \end{array}$$

我们不妨设$c$为物体与光线相交处的颜色，$C$为影像上的颜色，设$o$为相机位置，则有：

$$C(\mathbf{o},\mathbf{v})=c\left(\mathbf{o}+t^{\ast }\mathbf{v}\right)$$
其中， t ∗ = argmin ⁡ { t ∣ o + t v = p , p ∈ ∂ Ω , t ∈ ( 0 , ∞ ) } t^{*}=\operatorname{argmin}\{t \mid \boldsymbol{o}+t \boldsymbol{v}=\boldsymbol{p}, \boldsymbol{p} \in \partial \Omega, t \in(0, \infty)\} t∗=argmin{t∣o+tv=p,p∈∂Ω,t∈(0,∞)}， $\partial \Omega$表示几何表面。

现在，再用sdf来表示物体表面，有：

∂ Ω = { p ∣ s d f ( p ) = 0 } \partial \Omega=\{p \mid s d f(p)=0\} ∂Ω={p∣sdf(p)=0}

对于神经体渲染而言，我们往往通过MLP网络$F_{\Theta }$来推理得到sdf，通过另一个MLP网络$G_{\Phi }$来得到颜色场$\hat{c}$，可以用数学表示为：
$$\begin{array}{c}s\hat{d}f(p)=F_{\Theta }(p)\\ \hat{c}(\mathbf{o},\mathbf{v},t)=G_{\Phi }(\mathbf{o},v,t).\end{array}$$

同时，影像上的颜色也可以以这种形式进行表达：
$$\hat{C}={\int }_0^{+\infty }w(t)\hat{c}(t)dt$$
写成离散的形式，有：
$$\hat{C}=\sum _{i=1}^{n}w\left(t_i\right)\hat{c}\left(t_i\right)$$

对于新视图合成任务来说，我们的目标是只要使得合成视图的颜色与目标颜色一致就可以了，但是，在表面重建任务中，我们更关心的是物体表面的几何，而不是它的颜色，因此，我们有：
$$\begin{array}{rl}C& =\sum _{i=1}^{j-1}w\left(t_i\right)\hat{c}\left(t_i\right)+w\left(t_j\right)\hat{c}\left(\widehat{t^{\ast }}\right)+w\left(t_j\right)\left(\hat{c}\left(t_j\right)-\hat{c}\left(\widehat{t^{\ast }}\right)\right)+\sum _{i=j+1}^{n}w\left(t_i\right)\hat{c}\left(t_i\right)\\ & =w\left(t_j\right)\hat{c}\left(\widehat{t^{\ast }}\right)+{\epsilon }_{\text{sample }}+\sum _{\begin{array}{c}i=1\\ i\ne j\end{array}}^{n}w\left(t_i\right)\hat{c}\left(t_i\right)\\ & =w\left(t_j\right)\hat{c}\left({\hat{t}}^{\ast }\right)+{\epsilon }_{\text{sample }}+{\epsilon }_{\text{weight }},\end{array}$$
其中，$\widehat{sdf}(\widehat{t^{\ast }})=0$， $t_j$表示距离$\widehat{t^{\ast }}$最近的采样点$t_j$，${\epsilon }_{sample}$表示由于采样操作所导致的偏差，而${\epsilon }_{weight}$表示由体渲染加权所导致的偏差。
进一步地，我们将上式改写为：

此时，可以得到物体表面颜色和估计表面颜色之间的差别为：

其相对的偏差为：

SDF网络的显式监督

已知，我们有一些确切正确的三维点是可以利用的，那么有：

遮挡处理

我们的目标重建物体是不透明物体，物体的部分对于特定的相机视角来说是不可见的。一次你，对于每一个视角来说，可能只有有限的稀疏点是可见的。
对于某一张影像$I_i$，设其相机位置为$o_i$，其可见点集$P_I$理应与$I_i$中的特征点$X_i$存在一致性，即：

视角感知的SDF损失

稀疏点往往位于纹理丰富、几何复杂的区域。这使得网络优化可以更好的对复杂几何区域进行合适的处理。

带有多视约束的几何一致性监督

对于表面的某一个小部分$s$而言，其在影像上的投影是一小部分的像素patch $q$。自然，不同影像上对应表面$s$的图像块理应是几何一致的（除去遮挡区域）。
为了简便起见，我们直接使用参考影像$I_r$的相机坐标系来表示$s$的平面方程，有：

此时，参考影像中图像块的某一个影像点$x$就可以通过单应矩阵$\mathbf{H}$与其他影像中对应图像块的对应点$x^{\prime }$联系起来：

为了集中关注几何信息，将彩色图像变换为灰度图像。

遮挡感知的隐式表面抓取

首先要找到隐式表面：

就需要先找到使得sdf变号的点，即：

根据这些点，我们可以内插出表面点，为：

考虑到遮挡问题，我们取真正的表面$t$为：

这样做的好处有，

1. 使得点尽可能多视图一致；
2. 监督过程与颜色渲染的过程尽可能一致。

几何一致性损失

使用NCC对光度一致性进行评估，有：

损失函数

总体的损失函数为：

第一项和第二项都是老生常谈，不多做解释。
在实验中，三个系数的数值为：