NeRF 是 2020 年 ECCV 上获得最佳论文荣誉提名的工作,其影响力是十分巨大的。NeRF 将隐式表达推上了一个新的高度,仅用 2D 的 posed images 作为监督,即可表示复杂的三维场景,在新视角合成这一任务上的表现是非常引人注目的。3D渲染分为基于表面渲染(如点云到mesh)(图1上)和基于体积渲染(定义场景为密度和颜色场)(图1下)。
NeRF可以简要概括为用一个MLP(Multi Layer Perceptrons)神经网络去隐式地学习一个静态3D场景。为了训练网络,针对一个静态场景,需要提供大量相机参数已知的图片。基于这些图片训练好的神经网络,即可以从任意角度渲染出图片结果了。
第一篇NeRF的文章是Mildenhall et al (ECCV 2020)发布的。使用将三维场景通过体积渲染为二位的图像表达。三维环境通过MLP将5D向量input(x, y, z, & direction视角方向)表达为(color, density)如下图。
NeRFs的优点和缺点
优点 | 缺点 |
自监督,可只是用image进行训练,姿态可以用过SfM进行估算 | 速度慢, 50-100MLP评估一个pixel,需要至少260000评估512*512的图像。如果是1080p的图像多大两百多万。 |
写实性高,输出图像质量和输入图像质量保持一致 | 需要按照场景训练 |
是可以进行计算的,3D引擎可以快速高效的确定位置。NeRF只单独评估密度MLP | 需要大量训练样本输入,一个场景需要input 50-100不同角度的图片进行训练。 |
NeRFs的研究方向(相关顶级文章)
- 提升质量: mip-NeRF, ref-NeRF
- 提升速度: Instant-NGP, MLP-less methods
- 点云应用: PointNeRF, Urban Radiance Field
NeRF应用(相关顶级文章)
- 图像处理的图像标注,超像素,去噪,压缩
- 城市遥感、街景数据三维数据