中文标题:针对动态场景的神经辐射场
(本文只介绍与NeRF不同的知识点)
发布会议:CVPR2021
问题
- NeRF仅针对静态场景,从不同帧(视角下)重建相同的空间位置。
创新点
- 将时间作为系统的输入
- 将训练分为两个阶段:
- 阶段1:将任意时间上的场景编码到规范场景上 ( x , y , z , t ) → ( Δ x , Δ y , Δ z ) (x,y,z,t)\rightarrow (\Delta x, \Delta y, \Delta z) (x,y,z,t)→(Δx,Δy,Δz)
- 阶段2:回归出任意时间上场景 ( x + Δ x , y + Δ y , z + Δ z , θ , ϕ ) (x + \Delta x,y + \Delta y, z + \Delta z, \theta , \phi) (x+Δx,y+Δy,z+Δz,θ,ϕ)
- 使用 ( θ , ϕ , t ) (\theta,\phi,t) (θ,ϕ,t)来控制场景视角及时间
思路:
- 前提假设:场景中每一个点只能变换位置,不会凭空出现或消失(似乎把适用范围限制在了合成数据集上)
- 训练一个可以在任意时刻隐表示场景并合成新视角的深度学习模型。
解决方案:
规范网络 Canonical Network:
- Ψ x ( x , d ) → ( c , σ ) \Psi_x(x, d) → (c,\sigma) Ψx(x,d)→(c,σ)
- 也就是说场景(scene)中每一个点都有一个规范(起始)位置,这些点可以在不同时间变换位置,但绝对不会消失或凭空出现。
变形网络 Deformation Network:
- Ψ t ( x , t ) → Δ x \Psi_t(x, t) → \Delta x Ψt(x,t)→Δx
- 对于时间t场景中的某一点x,求得相对于规范场景下的变形量 Δ x \Delta x Δx。
时间参与的渲染:
##参考文献
[1] Pumarola A, Corona E, Pons-Moll G, et al. D-nerf: Neural radiance fields for dynamic scenes[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2021: 10318-10327.