实验复现—Instant-NGP

一、构建Instant-NGP

Windows环境，根据我自己的显卡直接下载下面的发行版：
https://github.com/NVlabs/instant-ngp/releases/download/continuous/Instant-NGP-for-RTX-3000-and-4000.zip解压后打开exe文件

UI界面：

二、使用Instant-NGP

1. 基本操作介绍

• 键盘操作： W S A D 在场景中前后左右移动， space （空格）和c 分别实现上升和下降
• 鼠标操作：左键拖拽旋转视角，中键拖拽平移视图，滚轮缩放视图

2. 使用源码data目录下的模型

项目源码中已经有data 文件夹，其中包括了三种类型的文件：

• exr格式的image文件
  • exr格式的文件常用于制作贴图，用图片来实现动态的3D效果。

将.exr 格式文件拖入窗口内，得到：

• nerf模型

将nerf文件夹下的场景文件夹（如fox 场景）拖入窗口内，得到：

• sdf文件

将sdf 文件夹下的.obj 格式的文件拖入到窗口中，得到：

3.使用自己的数据集

• 参考视频https://www.youtube.com/watch?v=VsFHX8IgX1o

进入已创建好的虚拟环境

conda activate instant_NGP

下载包

pip install ffmpeg
pip install opencv-python

将视频video和colmap放在一个文件夹NerfFolder 中，并复制文件夹路径，如图所示：

 在Anaconda Prompt中 cd 进入到NerfFolder 文件夹路径中，如图所示：

输入以下命令(需要根据自己的实际情况修改)：

python E:/Nerf/Instant-NGP/Instant-NGP-for-RTX-3000-and-4000/Instant-NGP-for-
RTX-3000-and-4000/scripts/colmap2nerf.py --video_in video.mp4 --video_fps 2 --
run_colmap --aabb_scale 16

其中必须修改2个地方：

• （必改） E:/Nerf/Instant-NGP/Instant-NGP-for-RTX-3000-and-4000/Instant-NGP-for-RTX-3000-and-4000/scripts/colmap2nerf.py --video_in video.mp4 ：为instant-ngp>scripts>colmap2nerf的路径，如下图所示：

•  （必改） --video_in video.mp4 ：video.mp4为视频的文件名
• （选改） --video_fps 2 ：每秒提取的帧数
• （选改） --aabb_scale 16 ：(我也没懂，所以不改)

第一次运行报错：

GPT给出的解决方法：

修改完后，再次运行，成功！
运行完成后，将文件夹中生成的image和json文件复制到一个新文件夹，最后将这个文件夹拖入Instant-NGP程序的窗口中。

• 吉他

 显示相机位姿