NeRS: Neural Reflectance Surfaces for Sparse-view 3D Reconstruction in the Wild

Rick0xFFFFFF

已于 2023-03-21 10:24:23 修改

阅读量942

点赞数 2

文章标签：机器学习深度学习神经网络 3d

于 2023-03-21 10:21:33 首次发布

本文链接：https://blog.csdn.net/i_head_no_back/article/details/129667473

版权

NeRS是一种使用神经网络学习封闭表面的形状表示方法，确保水密重建。它将视角相关的外观参数化为环境光、漫反射和高光反射三部分，并能根据少量图片进行3D物体重建。通过Blinn-Phong光照模型处理输入的稀疏性，NeRS能够在自然环境中有效地重建物体形状。

摘要由CSDN通过智能技术生成

Abstract：

NeRS learns a neural shape representation of a closed surface that is diffeomorphic to a
sphere, guaranteeing water-tight reconstructions.

NeRS用神经网络建模物体形状，可以对封闭表面进行建模，并且保证该表面与球形拓扑结构同构，从而确保重建结果完全密闭。另外，NeRS可以根据稀疏的图片推测出物体的3D形状，可利用日常采集数据（非实验室数据）对物体进行3D重建，很好很强大👍。

相比于NeRF, NeRS将视角相关的外观参数化为三部分：

1. environmental illumination：环境光

2. diffuse color (albedo)：漫反射

3. specular “shininess.”：高光反射

这三个参数的详细介绍请参考：Blinn-Phong光照模型详解_dx1313113的博客-CSDN博客

作者利用NeRS对各种in the wild的物体都进行了重建，效果如下：

Method

Neural Surface Representation

作者将Neural Surface 表征为两部分（分别是两个网络）： $f_{shape}$ 以及 $f_{tex}$ , 从上图可以非常直观的看出，给定球面一点 $(u,v)$ , $f_{shape}$ 负责推导出该点变形后对应的3维空间的位置， $f_{tex}$ 负责推导出该点的颜色 $(r,g,b)$

Modeling Rendering

图：先描述一下场景，相机从c看出，看到物体表面一点x, x点所在面的法向量为n，积分区间为x点切面上方的半个单位圆 $\Omega$ , 微分参数是入照光线的反方向 $\omega$ , $r_{\omega}$ 是入照光线的反射。

公式：1. $f_r(x,v,\omega)$ : 双向反射分布函数（BRDF)，表示入射( $x$ )光子( $\omega$ )以特定方向( $v$ )离开的概率。

2. $L_i(x,\omega)$ : $x$ 点来自 $\omega$ 的radiance

3. $(\omega\cdot n)$ :只算法线方向的radiance

该积分描述了观测点 $x$ 周围所有radiance影响的总和。好吧讲了一大堆作者说由于由于输入的稀疏性，上述公式没法用,WTF?没关系，有平替--Phong 光照模型:Blinn-Phong光照模型详解_dx1313113的博客-CSDN博客

Phong 光照模型平替

建模环境光，漫反射，高光反射，用来做积分式的平替。

1. 环境光直接用神经网络预测，作者假设给定 $\omega$ 后，环境光恒定：Neural Environmental Map

$L_i(x,\omega)=I_{\omega}=f_{env}(\omega)$

2. 漫反射也容易计算出，diffuse component:

$I_{diffuse}(x)=\sum_{\omega \in \Omega}(\omega \cdot n)I_{\omega}$

3. 高光反射：还是引用上面博客引用的Phong的话(引用套娃是吧)，高光反射的强度与反射光线R和观察角度v之间夹角的余弦值成正比。

$I_{specular}(x,v)=\sum_{\omega \in \Omega} (r_{\omega}\cdot v)I_{\omega}$

其中， $r_{\omega}=2(\omega\cdot n)n-\omega$ , 结合这两个式子以及上面这个黄色的话，我们画出下图就能理解了。

然后呢， $L_o(x,v)$ 就被直接等价于

$L_o(x,v)=T(x)\cdot I_{diffuse}(x)+k_s\cdot I_{specular}(x,v)$

就是漫反射和高光反射的权重和了， $k_s$ 为高光反射的参数， $T(x)$ 是前面提到的 $f_{tex}$ 网络求解出的。

7到10张图片就能求出物体的外型哟，很不错

参考文献：

Zhang, Jason, et al. "NeRS: neural reflectance surfaces for sparse-view 3D reconstruction in the wild." Advances in Neural Information Processing Systems 34 (2021): 29835-29847.