【小白深度教程 1.19】手把手教你使用 Pytorch3D(4)使用 NeRF 来进行三维重建和新视角合成
本教程展示了如何使用可微分隐式函数渲染(differentiable implicit function rendering),来拟合给定一组场景视图的神经辐射场(Neural Radiance Field,简称 NeRF)。
更具体地说,本教程将解释如何:
- 用图像网格或蒙特卡罗射线采样创建一个可微分隐式函数渲染器。
- 创建场景的隐式模型。
- 利用可微隐式渲染器对输入图像拟合隐式函数(Neural Radiance Field)。
- 把学习后的内隐函数形象化。
请注意,所提供的隐式模型是NeRF的简化版本:
Ben Mildenhall, Pratul P. Srinivasan, Matthew Tancik, Jonathan T. Barron, Ravi Ramamoorthi, Ren Ng: NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis, ECCV 2020.
这些简化包括:
- 射线采样:本教程不进行分层射线采样,而是在等