- 任务:4D场景风格化
- 固定view(相机视角),生成时序视频,使得4D场景可以被多组时序视频表示:)编辑第一帧,将编辑后的第一帧作为anchor view,生成其他视角的第一帧;2)使用时序-空间性一致方法编辑其他帧。
方法
Anchor-Aware IP2P for Consistent Batched Generation
- 存在问题:多帧风格化的时序一致性问题;
- 解决方案:引入共享关键帧。受Tune-a-Video启发,将IP2P中的self-atten替换为cross-atten,在cross-atten中和风格化的关键帧(anchor view)做交互。同时,不同Batch共享相同的关键帧。
Optical Flow-Guided Sliding Window Method for Pseudo-View Editing
- 存在问题:多帧风格化的时序一致性问题
- 解决方案:受ViCA-NeRF启发,在它基础上引入光流做warp。1)选取关键帧(anchor view),对关键帧进行风格化;2)通过原视频计算光流,将风格化后的关键帧warp到其他帧,将其他帧与warp后的风格化关键帧融合;3)使用Anchor-Aware IP2P风格化。
Pseudo-View Propagation Based on Warping
- 存在问题:空间一致性问题
- 解决方案:
- 编辑pseudo-key view的第一帧,以它作为Anchor-aware IP2P的anchor view,风格化其他view的一帧;
- 对于时间t和视角v下的某帧(v, t),通过光流warp (v, t-1),通过深度和相机视角warp相同时间t和不同视角下的某帧,最终取均值得到待Anchor-Aware IP2P风格化。
Overall Editing Pipeline
- 通过上述方法迭代地多次生成风格化数据(Instrauct NeRF2NeRF),基于该数据训练NeRF。
- 一张卡训练NeRF,另一张卡生成风格化数据;
- 受HiFA启发,随训练时间增加,逐步减少采样时间t;
- 整个训练选取20个视角,并可在1小时内完成训练。
实验
对比实验
- 数据集:单目场景(DyCheck、HyperNeRF);2)多目场景:DyNeRF/N3DV;
- Baselines:IN2N-4D
消融实验
- IN2N-4D:将IN2N应用在4D数据集上;
- Video Editing:FateZero对视频帧做编辑;
- Anchor-Aware IP2P w/o Optical-Flow:去除光流
- One-time Pseudo-View Progation: