nvdiffrec在Windows上的配置及使用

nvdiffrec是一个由NVIDIA研究院开源的项目,能从多视角图像中提取三角网格模型、空间变化的材质和环境照明,无需初始3D几何猜测。该方法适用于各种图形引擎,通过Anaconda在Windows上进行安装,并使用PyTorch框架进行训练,生成的3D模型可以直接在支持三角渲染的设备上部署和交互呈现。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

      nvdiffrec是NVIDIA研究院开源的项目,源代码地址:https://github.com/NVlabs/nvdiffrec ,论文为《Extracting Triangular 3D Models, Materials, and Lighting From Images》,从图像中提取三角形三维(三角网格)模型、空间变化的材质(存储在2D纹理中)和照明(一个高动态范围((HDR))的环境探针),该方法学习曲面网格的拓扑和顶点位置,而无需对3D几何图形进行任何初始猜测。总体来说,NVIDIA研究人员提出了一种高效的逆渲染方法(将一系列静态照片重建为3D物体或场景模型的技术),能从多视角图像中提取具有空间变化的材质和环境照明的未知拓扑三角网格,它们可以部署在任何传统图形引擎中而未经修改。

      NVIDIA团队假设在一个未知的环境光照条件下,有相应的摄像机位姿和背景分割掩模来指示这些图像中的物体,进行3D重建生成的3D模型无需转换,就能部署在手机、web浏览器等任意支持三角渲染的设备上,并以交互速率呈现。

      Windows上通过Anaconda安装:
      1.安装cuda 11.6
      2.依次执行如下命令:

conda create -n nvdiffrec python=3.9
conda activate nvdiffrec
pip install torch==1.13.1+cu116 torchvision==0.14.1+cu116 torchaudio==0.13.1+cu116 -f https://download.pytorch.org/whl/torch_stable.html
pip install ninja imageio PyOpenGL glfw xatlas gdown
pip install git+https://github.com/NVlabs/nvdiffrast/
pip install --global-option="--no-networks" git+https://github.com/NVlabs/tiny-cuda-nn#subdirectory=bindings/torch
imageio_download_bin freeimage

      3.下载数据集,将Anaconda Powershell Prompt定位到data目录下,执行如下命令:也可根据需要,直接从https://drive.google.com/drive/folders/128yBriW1IG_3NJ5Rp7APSTZsJqdJdfc1 下载

python download_datasets.py

      使用:以lego为例,执行如下命令:很耗显存,若显存不够,可减少nerf_lego.json中的batch

python train.py --config configs\nerf_lego.json --display-interval 100

      执行结果如下图所示:

      执行完后会在out/nerf_lego目录下产生一些文件,如下图:我们需要的是mesh目录下产生的6个文件:mesh.obj, mesh.mtl, probe.hdr, texture_kd.png, texture_ks.png, texture_n.png

 

评论 7
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值