AI论文探讨室·A+·第101期-Neural Sparse Voxel Fields（神经稀疏体素化场）

使用经典的计算机图形技术合成真实世界图像级视点图像是非常困难的，因为它捕获外观细节和几何模型是非常困难的。最近研究已经证明，可以通过学习场景表示，隐编码几何和外观不需要3D监督。
然而，存在的方法实际上存在模糊问题，由于有限的网络计算能力或者用场景几何较困难发现相机光线的精确交叉点。从这些表示中合成高分辨率图像常常需要耗时进行光线Marching。在本文工作，作者介绍神经稀疏体素场（NSVF），一个新的神经场景表示来快速和高质量的进行自由视点合成。NSVF定义了一组以稀疏体素八叉树形式组织的体素边界隐式场，以每个单元局部属性进行建模。作者进一步使用微分射线Marching方法，从一系列带位姿的RGB图像学习潜在的体素结构。使用稀疏体素八叉树结构，渲染新视角能够通过跳过体素中不包含相关场景内容来进行加速。作者优化后将比NeRF推理处理速度提升了10倍，实现高质量的结果。另外，通过利用一个隐稀疏体素表示，作者提出的方法能够容易应用到场景编辑和场景合成。作者也证明几个具有挑战的任务，包括多场景学习，移动人体的自由视点渲染，大尺度场景渲染。

作者针对的主要问题点：神经网络渲染合成的图像存在模糊、相机光线交叉点需要采用ray marching方式比较耗时、3D场景模型的编辑和重组；
作者用一个隐函数函数来代替对整个场景建模，NSVF由一组以体素为界的隐式场组成，这些隐式场组织在一个稀疏体素八叉树中。具体的，作者在体素的每个顶点指定 一个体素嵌入，并通过相应体素的八个顶点聚集体素嵌入来获得体素内部查询点表示。进一步通过一个多层感知网络MLP来预测查询点的几何和外观。

作者的贡献：
（1）作者提出由一组以体素为界的隐式场表示的NSVF，其中每个体素被嵌入学习来编码局部属性以获得高质量的渲染；
（2）NSVF利用稀疏体素结构来实现有效渲染；
（3）作者介绍了一种提高训练的策略，能够用一个微分ray-marching操作有效学习潜在的稀疏体素结构，从一组带位姿的2D图像上端到端学习。
表面渲染

体渲染

作者从 光线追踪加速 的角度，对NeRF网络进行优化；层次包围盒、稀疏体素八叉树
在此编码中，一个空间位置的局部属性只依赖空间所属的叶节点局部相邻
分层稀疏体表示

体素边界隐函数：

p1体的八个顶点，g表示顶点上的特征向量，三线性插值，预处理（这里指的位置编码）

射线体素交叉：作者首先给每条射线应用轴对齐边界框交叉测试（AABB-测试）。它通过比较光线原点到体素的六个边界平面中的每个距离，检查光线是否与体素相交。对于层次八叉树结构是非常有效的，它能够实时处理百万的体素。
实验结果

了解更多关于《计算机视觉与图形学》相关知识，请关注公众号：