YuhsiHu的博客

目录前言run_nerf.pyconfig_parser()train()create_nerf()render()batchify_rays()render_rays()raw2outputs()render_path()run_nerf_helpers.pyclass NeRF()get_rays_np()ndc_rays()load_llff.py_load_data()_minify()load_llff_data()render_path_spiral()前言要想看懂instant-ngp的c

这篇文章用于记录NeRF论文中数学公式的推导过程。

Pose-free的NeRF最近很火，近期的工作大部分先是使用渲染的图片训练一个粗略的姿态估计器，再对NeRF和姿态进行联合优化。然而，训练期间只使用了rendered image，姿态估计经常偏移或不准确，因为渲染图与真实图片之间本来就有domain gap。这导致了很差的robustness，并且在联合优化中会陷入局部最优。我们设计了IR-NeRF，使用implicit pose regularization来细化pose estimator。

现有的基于 NeRF 的方法在重建高分辨率真实场景时面临一些限制，包括大量的参数、未对齐的输入数据和过度平滑的细节。在这项工作中，我们对使用高分辨率数据训练 NeRF 进行了首次试点研究，并提出了相应的解决方案：1）将MLP与卷积层结合，可以编码更多的邻域信息，同时减少参数总数；2) 一种新的训练策略来解决由移动物体或小相机校准误差引起的未对准问题；3）高频感知损失。

iNeRF论文精读

今天读的是一篇CVPR2022的文章，这项工作由港科大、腾讯和港大共同完成。他们对模糊图片作为输入进行NeRF重建进行了研究。项目地址：点此前往AbstractNeRF近年来在三维场景重建和新视角合成任务上表现出众。但是，野外环境中采集图像会因为移动或者失焦而模糊，这影响到了重建的质量。为了解决这个问题，作者提出了Deblur-NeRF，它在模糊的输入下也能重建出清晰的NeRF。作者通过模拟模糊过程来重建模糊视图，从而使 NeRF 对模糊输入具有鲁棒性。模拟的核心是一个Deformable Spars

环境搭建和使用，demo，附修改代码

NeRF人体三维重建HumanNeRF的论文精读

NeRF论文精读

Point-NeRF论文精读