【荐闻】动态NeRF（Dynamic NeRF）综述

论文：Dynamic NeRF: A Review

作者：Jinwei Lin

https://t.zsxq.com/vVzHlhttps://t.zsxq.com/vVzHl

01 INTRODUCTION

本章讨论三维重建和神经辐射场（NeRF）渲染的基础研究。传统三维重建技术逐渐倾向于应用研究，而NeRF作为新颖的隐式三维重建领域，以其高分辨率的合成能力和对少量图像的适应性脱颖而出。动态NeRF相比静态NeRF能表达更丰富的信息，有更广泛的应用前景，因此，未来NeRF研究将更多关注动态NeRF，其在NeRF领域的重要性将日益增加。

02 BACKGROUND

本章介绍了动态神经辐射场（Dynamic NeRF）的发展历程，从2021年至2023年，Dynamic NeRF的研究数量持续增长，主要关注点包括提高性能、更新实现方法以及应用于人体或动作的动态渲染。同时，本章还分析了与NeRF相关的综述论文，总结出每篇论文的结构包括介绍、背景、分析和结论四个部分。

03 BASIC METHOD OF ORIGINAL NERF

本章节主要分析了原始NeRF的设计思想和方法。原始NeRF使用一个5D向量函数来表示连续三维场景的表达。其输入数据是沿着相机射线采样的点，包括三维空间位置数据和二维视图方向数据。这些数据作为5D向量函数的输入，通过多层感知机（MLP）处理，输出包括颜色和体积密度信息。原始NeRF的创新之处在于使用可微分函数MLP，通过深度学习对渲染结果进行逼近和修正，控制实际图像数据的残差。

04 MAIN METHODS SUMMARY

本章节概述了设计和实现动态神经辐射场（Dynamic NeRF）的基本流行方法，并基于此进行了进一步分析。综合总结了2021至2023年间动态NeRF的主要方法，并对表格进行了定义和排序。通过分类和比例分析，发现2023年分析的论文比例大幅增长，尽管2022年的数量少于2021年。渲染对象类型中，正常类型最受欢迎，意味着针对一般物体的动态NeRF是主流，而关注单个或人类组件的动态NeRF是第二大研究方向。大规模动态NeRF也是热门研究方向。

05 SIGNIFICANT METHODS ANALYSIS

本章讨论实现动态NeRF的两种主要方法：变形的 ray bending 和骨架驱动的 deformation。NR-NeRF利用ray bending实现非刚性变形，无需显式监督，通过神经网络学习渲染。Skeleton-NeRF基于传统骨架动画，利用隐含代码和混合权重场产生变形场，实现动态渲染。两种方法均扩展了NeRF网络以处理复杂渲染效果，如子弹时间效果，未来研究将结合多个子对象渲染，提高渲染质量和复杂度。

06 CONCLUSION

本章节为对动态神经辐射场（Dynamic NeRF）的综合技术及论述回顾，分析了多个子领域的重要研究结果，提出新的图表展示方法以直观比较动态NeRF的不同维度。通过结合文字、方程和图表，清晰阐述了实现过程。动态NeRF的关键设计是在静态NeRF网络中增加了变形因子或域。但目前的动态NeRF不支持重新编辑控制，未来研究需关注更新方法。大部分研究对未来的可编辑或再编辑NeRF研究有用，且某些原则对高斯喷射设计也有启示。