[CVPR-24] 4K4D: Real-Time 4D View Synthesis at 4K Resolution

paper | proj | code

• 提出一种基于K-Planes的4D point cloud Representation；
• 提出一种Hybrid appearance model，包含image blending model和SH model。其中，image blending model将3D点映射回原图中求得，SH model通过模型预测求得。
• 提出一种可导的深度排序算法，训练时通过Pytorch计算，渲染时通过OpenGL计算，实现GPU支持的快速光栅化。
• 提出一系列减少推理渲染的方法：
  • 提前计算点的位置、密度、颜色系数和blending系数等；
  • 减少光栅化每个像素所需要的点数；
  • 将模型从32-bit float降为16-bit

目录

摘要

方法

Modeling Dynamic Scenes with Point Clouds

Differentiable Depth Peeling

Training

Inference

实验

Datasets and metrics

Comparison Experiments

Ablation Studies

Storage analysis.

Rendering Speed Analysis

---

摘要

• 现有问题：动态场景中，渲染高分辨率图片很慢；
• 本文：
  • 提出基于K-Planes的4D point cloud Representation，支持硬件光栅化，实现快速渲染；
  • 提出一种hybrid appearance model，在提高渲染质量的同时，保证渲染效率；
  • 设计一种可导的深度排序算法（deep peeling algorithm），实现从RGB视频中快速建模；
• 实验证明，在一张4090 GPU上，可以实现对1080分辨率的400FPS渲染，4K分辨率的80FPS渲染。

方法

Modeling Dynamic Scenes with Point Clouds

• 通过space-carving algorithm从视频中提取粗点云序列；
• 点特征通过K-Planes表达，给定坐标和时间，可得特征：

• 点特征送入Radius MLP和Density MLP，预测该点的密度和半径；
• 该点的颜色通过两个模型计算，分别是离散的image blending model和连续的SH model。
  • image blending model是指，给定空间中任意一点，可投影到输入图片上，检索对应RGB值。在本文中，多张图片检索的RGB值，通过网络预测加权系数，加权求和以得到该点的。由于检索图像与视角无关，本文仅考虑与视角最近的张图片。image blending model除系数外，可以提前计算。因此，可以在提高视觉质量的同时，不增加过多计算。
  • SH model，则是将点特征送入SH MLP，预测得到。
  • 最终，该点颜色由以下公式计算：

Differentiable Depth Peeling

• 对于像素，首先找到距离该点相机视角最近的个点。
• 用体渲染的方式，通过个点计算该点颜色。首先计算密度，其中是将点投影到2D图像上：

• 在训练中，本文基于PyTorch实现。在推理阶段，本文用OpenGL计算。
• 最终，该像素点颜色：

Training

包含三个损失：

• MSE Loss：
• LPIPS Loss
• Mask 损失：

• 最终训练损失为：

Inference

通过三个方法加速推理：

• 提前计算点位置，半径，密度，SH系数和color blending系数；
• 将模型从32-bit floats转为16-bits，可以增加20FPS；
• 将渲染时的超参数K从15降低为12，可以在不影响视觉质量的情况下，增加20FPS；

实验

Datasets and metrics

• DNA-Rendering：15 FPS, 10 s, 60 views, 4K/2K相机，训练分辨率为1024 x 1224 / 1125 x 1536
• ENeRF-Outdoor：30 FPS, 1080p相机，训练分辨率为960 x 540
• NHR：训练分辨率为512 x 612 / 384 x 512
• Neural3DV：训练分辨率为1352 x 1224

Comparison Experiments

Ablation Studies

• Ablation study on the 4D embedding. w/o f
• Ablation study on the hybrid appearance model. w/.o 
• Ablation study on loss functions.

Storage analysis.

Rendering Speed Analysis