【三维重建】【深度学习】NeuS总览

【三维重建】【深度学习】NeuS总览

论文提出了一种新颖的神经表面重建方法，称为NeuS，用于从2D图像输入以高保真度重建对象和场景。在NeuS中建议将曲面表示为有符号距离函数(SDF)的零级集，并开发一种新的体绘制方法来训练神经SDF表示，因此即使没有掩模监督，也可以实现更准确的表面重建。NeuS在高质量的表面重建方面的性能优于现有技术，特别是对于具有复杂结构和自遮挡的对象和场景。本篇博文将neus的各功能模块做个总览。

---

---

前言

在详细解析NeuS网络之前,首要任务是搭建NeuS【win10下参考教程】所需的运行环境，并完成模型的训练和测试，展开后续工作才有意义。
本博文是对NeuS工程进行总体的预览，暂时不涉及具体的功能模块代码，后续的博文将会陆续讲解。

博主将各功能模块的代码在不同的博文中进行了详细的解析，点击【win10下参考教程】，博文的目录链接放在前言部分。

---

参数设置

在 exp_runner.py的main函数下，定义了运行neus所需要的参数。

parser = argparse.ArgumentParser()
# 选择读取的配置文件
parser.add_argument('--conf', type=str, default='./confs/base.conf')
# 选择代码运行的模式(训练、精化或者渲染)
parser.add_argument('--mode', type=str, default='train')
# 设置marching_cubes的阈值
parser.add_argument('--mcube_threshold', type=float, default=0.0)
# 是否在已有的最新模型基础上进行下一步操作
parser.add_argument('--is_continue', default=False, action="store_true")
# 设置gpu的序号
parser.add_argument('--gpu', type=int, default=0)
# 设置要处理数据的文件名(相对路径)
parser.add_argument('--case', type=str, default='')
args = parser.parse_args()

配置neus(模型)算法的核心参数都放置在了confs目录下的配置文件中，其他次要参数都是通过命令行输入的形式进行传递的，具体参数的用途，等到讲解具体代码时会说明。

所谓核心参数就是定义和构建neus模型的结构的参数：组成neus的多个神经网络的配置、数据集处理的相关参数等；
次要参数则是与neus无关的一些辅助性操作：模型权重存储位置、分配gpu等。

---

数据管理(Dataset)

在models/dataset.py文件内定义的一个数据管理类，用于加载图像数据集以及其对应的mask数据集和相机投影矩阵等，并能够根据NeuS具体的任务需求产生射线rays，用于后续进行采样。

• gen_random_rays_at： 网格面$\left(H,W\right)$上任意选择$b$个网格$\left(u_i,v_j\right)$，并根据相机内参、外参等计算出对应的$b$个射线ray在世界坐标系下的向量$\left(x_i,y_i,z_i\right)$。这个过程发生在训练过程中。
  

网格面$\left(H,W\right)$和图像数据集的分辨率$\left(H,W\right)$大小一致，上述图中蓝色小网格是代表被随机抽中的网格并产生射线ray。

• gen_rays_at： 网格面$\left(H,W\right)$上所有网格$\left(u_i,v_j\right)$，根据相机内参、外参等计算出对应的射线ray在世界坐标系下的向量$\left(x_i,y_i,z_i\right)$。这个过程发生在训练阶段的周期性测试中。
  

目的是简单测试下渲染效果，用某个相机位姿对应的原始图片与neus在该相机位姿下渲染的图片做对比。

• gen_rays_between： 通过俩个相机$idx0$和$idx1$的位姿生成介于俩相机之间的相机$idxr$的新位姿，网格面$\left(H,W\right)$上所有网格$\left(u_i,v_j\right)$，根据相机$idxr$内参、外参等计算出对应的射线ray在世界坐标系下的向量$\left(x_i,y_i,z_i\right)$。这个过程发生在应用阶段。
  

idx0和idx1是真实的相机位姿，idxr并不真实存在，而是计算而来的。其实这个目的是为了检验neus在新的相机位姿下的效果，个人觉得新的相机位姿也可以人工设定，并不一定是采用这种方式。

NeuS网络

• NeRF： 训练物体以外背景的颜色
• SDFNetwork： 训练目标物体的sdf值
• RenderingNetwork： 训练目标物体的RGB值
  
  详细网络结构解析博主会在后续的博文中进行说明。

---

总结

尽可能简单、详细的介绍NeuS工程的总体预览。后续会根据自己学到的知识结合个人理解讲解NeuS的原理和代码。