51-47 CVPR 2024 | DynVideo-E：利用动态NeRF对大规模运动和视角变化的视频编辑

深圳季连AIgraphX

已于 2024-05-08 23:15:06 修改

阅读量1k

点赞数 27

分类专栏： aiXpilot 智驾大模型1 文章标签：自动驾驶 AIGC stable diffusion 智慧城市计算机视觉

于 2024-04-29 13:45:30 首次发布

本文链接：https://blog.csdn.net/weixin_45035094/article/details/138271764

版权

aiXpilot 智驾大模型1 专栏收录该内容

58 篇文章 34 订阅 ¥89.90 ¥99.00

订阅专栏

超级会员免费看

文章介绍了DynVideo-E框架，该框架利用动态NeRF技术，实现了对大规模运动和视角变化的视频编辑。通过人体姿态引导，编辑在3D空间执行并传播至整个视频，确保一致性。模型结合二维和三维扩散先验、多视角多姿态分数蒸馏采样、重建损失等策略，提升编辑质量。在HOSNeRF和NeuMan数据集上，DynVideo-E优于SOTA方法，展示出在视频编辑领域的先进性能。

摘要由CSDN通过智能技术生成

23年12月，腾讯、新加坡国立大学联合发布DynVideo-E: Harnessing Dynamic NeRF for Large-Scale Motion- and View-Change Human-Centric Video Editing。

DynVideo-E框架首次引入动态NeRF作为视频表示，通过人体姿态引导将视频信息聚合到3D背景空间和3D动态人体空间中，进而能对大规模运动、视图变化和以人为中心的视频进行编辑。同时为了提高编辑后的三维动态人体空间的一致性和动画性，模型还提出了一组有效的设计和训练策略：利用二维和三维扩散先验、多视角多位姿分数蒸馏采样SDS，重建损失、文本引导局部超分辨率，以及各种人体和相机姿态配置。DynVideo-E使用HOSNeRF作为backbone模型，可以为动态场景实现360°自由视点、高保真、高时间一致的可控视频合成，在HOSNeRF和NeuMan数据集上性能明显优于 SOTA 方法。

本文借鉴了先前众多模型的工作成果，在训练和推理阶段直接拿来用，方便但是复杂。