#今日论文推荐#谷歌华人研究员发布MobileNeRF，渲染3D模型速度提升10倍

#今日论文推荐#谷歌华人研究员发布MobileNeRF，渲染3D模型速度提升10倍

2020年，神经辐射场（NeRF）横空出世，只需几张2D的静态图像，即可合成出该模型的3D场景表示，从此改变了3D模型合成的技术格局。NeRF以一个多层感知器（MLP）来学习表示场景，评估一个5D隐式函数来估计从任何方向、任何位置发出的密度和辐射，可在体渲染（volumic rendering）框架下用于生成新图像。
NeRF经过最小化多视图色彩一致性的损失的优化后，相比传统的生成方式，对于新视图能够保留更好的图像细节。
但目前主流的NeRF实现方式仍然存在弊端，即需要专门的渲染算法，而这些算法与当下常见的硬件并不匹配。

传统的NeRF实现使用体积渲染算法，用于在光线沿线的数百个采样位置为每个像素都运行一次大规模MLP，以便估计和密度和辐射度。这种渲染过程对于交互式的可视化来说太慢了，没法用于实时渲染。
最近有研究将NeRF烘焙（baking）到稀疏的3D voxel grid中来解决这个问题，比如SNeRG中的每个激活的voxel包含不透明度、漫反射颜色和学习的特征向量。
从SNeRG绘制图像分为两个阶段：第一阶段使用光线行进来累积沿每条光线的预计算漫反射颜色和特征向量，第二阶段使用对累积特征向量进行操作的轻型MLP来产生与视图相关的残差，该残差添加到ac累积漫反射颜色，这种预计算和延迟渲染方法将NeRF的渲染速度提高了三个数量级。

论文题目：MobileNeRF: Exploiting the Polygon Rasterization Pipeline for Efficient Neural Field Rendering on Mobile Architectures
详细解读：https://www.aminer.cn/research_report/62f12ab67cb68b460ffe94f9https://www.aminer.cn/research_report/62f12ab67cb68b460ffe94f9
AMiner链接：https://www.aminer.cn/?f=cs