干货！ CVPR：基于VDB的高效神经辐射渲染场

点击蓝字

关注我们

AI TIME欢迎每一位AI爱好者的加入！

作者介绍

严 涵

上海交通大学2019级人工智能专业本科生，研究兴趣主要是与NeRF相关的三维重建算法。

报告题目

基于VDB高效神经辐射渲染场

内容简介

01

NeRF

NeRF的提出起初主要是为了解决新视⻆生成的任务，根据一些在不同视⻆下拍出的照片，希望能够获得未⻅过的视⻆下的图像。NeRF提出用隐函数来建模场景，即MLP，输入一个空间点的坐标和视⻆方向，可以输出这个点的密度和对应的颜色，通过体渲染技术对一条射线上的颜色进行加权积分，得到对应的像素值，从而建立3D到2D的关系，实现仅通过2D图像便可以监督3D场景的生成。使用MLP来连续的建模场景，相比于传统的点云或者体素等方法，渲染的分辨率不受限，并且存储占用小。

02

Limitation

但是基于MLP的方法也存在一些局限性，比如会导致NeRF的训练和渲染速度较慢。主要的原因在于渲染一个像素值对应了一条射线，同时对应于要渲染射线上的上百个采样点，即要访问神经网络上百次。这种昂贵的时间成本导致了NeRF的应用受到限制，所以很多工作都开始探索NeRF加速的方法。一类方法利用了场景的稀疏性，比如在真实世界的场景中很大一部分都是空气，而位于空气中的采样点实际上不需要进行神经网络访问。于是，研究者们将有意义的场景信息预先存储在稀疏的数据结构中，比如下图工作中采用了八叉树，只将有意义的点的数据保存在树的叶子节点上，从而实现高效的存储和渲染，但是这种方法往往需要先训练一个NeRF，再将NeRF转化为这些稀疏数据结构，因此训练效率不够理想。

为了加速训练，人们采用