关于Nerf

从事3D图形学已经十年有余，以前主要关注在跨平台高效渲染方面，在2021年遇到Nerf的时候，就对其爱不释手，翻看到了2020年的第一篇论文，然后就一直跟踪最新的，发现真是个热门方向，论文层出不断，目前已经成为了三维视觉领域的主流方向。所以从去年就开始着力于传统管线与Nerf的打通，以及将Nerf在unity、UE以及自研渲染引擎中完成更多事情，不过，个人精力始终有限，这些方向也出现了很多优秀的论文已经工程项目。本文只是以此做个记录。

Nerf（神经辐射场）到底是什么？

NeRF Representing Scenes as Neural Radiance Fields for View Synthesis

ECCV 2020 Oral - Best Paper Honorable Mention

Nerf将隐式表达推上了一个新的高度，仅用2D的图像序和姿态作为监督，输出新视角的颜色或者mesh。即可表示复杂的三维场景。

目前Nerf主要集中在几个方向：

方向一：对于单场景渲染质量，主要改进工作有:Mip-Nerf、Nerf++、密拼-nerf-360、Nerf-W、Block-Nerf、Urban-Nerf、CityNerf等

详见我的git：DeallyEngine/Nerf at master · jaccen/DeallyEngine (github.com)

方向二:针对训练的图像数量：原始Nerf大概需要100张左右 ，PixelNerf、MVSNerf、IBRNet等需要几张就可以

方向三：针对训练和渲染速度，原始Nerf需要数十个小时训练一个小场景。instant-ngp等需要5s就可以训练一个场景。原始渲染速率只有0.06fps，而FastNerf、SqueezeNerf等可以达到200fps。BlockNeRF等工作可以重建城市级别的逼真场景，也可以对场景进行不同条件下的光照渲染

方向四：针对特定场景的改进，比如人脸、人体等

方向五：Nerf与Slam结合，在自动驾驶等领域

Nerf与Unity

比较有代表的有：

Nerf与Unreal Engine

比较有代表的有：

Nerf与其他渲染

总结

Nerf作为一个新兴而且发展非常迅速的领域，在高精度快速三维重构、AR、元宇宙等领域会大发异彩。

未来会继续分享关于Nerf深入的东西，已做记录。