NeuS: Learning Neural Implicit Surfaces by Volume Rendering for Multi-view Reconstruction

NeuS: Learning Neural Implicit Surfaces by Volume Rendering for Multi-view Reconstruction

1、Introduction

In NeuS, we propose to represent a surface as the zero-level set of a signed distance function (SDF) and develop a new volume rendering method to train a neural SDF representation.

2、Method

2.1. Rendering Procedure

2.1.1. Scene representation

the scene of an object to be reconstructed is represented by two functions:

• $f:R^3\to R$ that maps a spatial position $x\in R^3$ to its signed distance to the object
• $c:R^3\times S^2\to R^3$ that encodes the color associated with a point $x\in R^3$ and a viewing direction $v\in S^2$.

The surface $S$ of the object is represented by the zero-level set of its SDF：

S = { x ∈ R 3 ∣ f ( x ) = 0 } S=\{x\in R^3|f(x)=0\} S={x∈R3∣f(x)=0}

为了引入volume rendering，先引入一个probability density function(called S-density) ${\varphi }_s(f(x))$，其中${\varphi }_s(x)=s{e}^{-sx}/(1+e^{-sx}{)}^2$（logistic density distribution）是Sigmoid function 的导数，因为其计算方便性。

2.1.2. Rendering

将ray记作 { p ( t ) = o + t v ∣ t ≥ 0 } \{p(t)=o+tv|t \geq0\} {p(t)=o+tv∣t≥0}，整条ray上的color通过积分得到：$C(o,v)={\int }_0^{+\infty }w(t)c(p(t),v)dt$，其中$w(t)$代表点$p(t)$的权重。

2.1.3. Requirements on weight function

• Unbiased：给定一个camera ray $p(t)$，$w(t)$在ray与surface表面的交叉点上得到一个最大值。即$w(t)$在surface上最大。
• Occlusion-aware： 当两个点有相同的SDF值时，离观测点近的点（深度小）应该有更大的weight（对最终的color的贡献更大）。（例如一条ray打过了多个surface，每个在surface上的点的sdf都是0）

2.1.4. Naive solution

其中最naive的想法是直接将nerf中的volume density作为$w(t)$，即：

$w(t)=T(t)\sigma (t)$

文中将S-density值作为传统nerf中的densit即$\sigma (t)$。随着深度t增大要乘上更多的$T(t)=exp(-{\int }_0^t\sigma (u)du)$，所以$w(t)$会越来越小($T(t)<1$)，因此它是Occlusion-aware但是并不是Unbiased（证明见补充材料）。

因此后续为了解决Unbiased的问题，对于$\sigma (t)$的选值进一步优化。

2.1.5. Our solution

入式(4)所示，$w(t)$是无偏的，但是不是occlusion-aware因此还是需要遵循volume rendering的形式但是对于density $\sigma (t)$的选值还需要进一步推导。

首先考虑ray只与surface有一个交点的情况，并且surface是一个平面，这种情况下式(4)满足weight function的两个条件，因此根据此时weight function的表达式转换为volume density的形式，推导出其中$\sigma (t)$的表达式。

针对这种情况，signed distance function $f(p(t))=-|cos(\theta )|\ast (t-t^{\ast })$，其中$\theta$代表view direction $v$ 与表面外向法向量$n$之间的夹角，由于假设表面是平面，所以$|cos(\theta )|$为一个常数，$t^{\ast }$代表surface上的点，即$f(p(t^{\ast }))=0$

volume rendering中$w(t)=T(t)\rho (t),T(t)=exp(-{\int }_0^t\rho (u)du)$。

因此有等式(7)

考虑一般情况，$-\frac{d{\Phi }_S}{dt}(f(p(t)))$会是负值，因为其中${\Phi }_S$为sigmoid函数导数为一个0值附近的单峰函数（类似高斯函数），所以随着$f(p(t))$ (SDF)小于0且逐渐增大则梯度为正，整个值为负，因此与0取max：