NeRF-DS环境搭建与复现

环境配置

  我使用的是阿里云的DSW，

首先获取源码，

Git clone GitHub - JokerYan/NeRF-DS: This is the code for "NeRF-DS: Neural Radiance Fields for Dynamic Specular Objects".

作者更新后的requirements_exact.txt文件中有一些需要修改的地方，

有几个作者本地导入的包，需要将本地路径删除，

numpy改为numpy==1.24.3

删除jaxlib==0.3.15+cuda11.cudnn82,这个包需要手动安装，下载链接：https://storage.googleapis.com/jax-releases/cuda11/jaxlib-0.3.15+cuda11.cudnn82-cp38-none-manylinux2014_x86_64.whl

模型训练及渲染

我使用的是单卡NVIDIA A10，训练数据集为cup,as

显存消耗21GB，大概耗时六小时

渲染程序在运行时出错，原因是使用 OpenCV 的 imshow时，服务器端没有图形界面（X server），无法运行，这里我选择使用虚拟显示来解决问题，代码如下：

apt-get update apt-get install xvfb Xvfb :99 & export DISPLAY=:99

渲染时长大概4小时

生成的一个包含

• RGB 图像数据

• 媒介深度（depth_med）

• 光线法线（ray_norm）

• 预测掩码（ray_predicted_mask）

• 光线偏移量（ray_delta_x）

的npy文件