【每日论文】Zero-1-to-A: Zero-Shot One Image to Animatable Head Avatars Using Video Diffusion

下载PDF或查看论文，请点击：

LlamaFactory - huggingface daily paper - 每日论文解读 | LlamaFactory | LlamaFactory探索LlamaFactory，为你解读AI前沿技术文章，快速掌握最新技术动态https://www.llamafactory.cn/daily-paper/detail/?id=1761

摘要

可动画的头像生成通常需要大量的训练数据。为了减少数据需求，一个自然的解决方案是利用现有的无数据静态头像生成方法，例如使用预训练的扩散模型和分数蒸馏采样（SDS），这些方法将头像与扩散模型的伪真实输出对齐。然而，直接从视频扩散中蒸馏4D头像往往会导致过度平滑的结果，因为生成的视频中存在空间和时间上的不一致性。为了解决这个问题，我们提出了Zero-1-to-A，这是一种鲁棒的方法，它使用视频扩散模型合成用于4D头像重建的空间和时间一致性数据集。具体来说，Zero-1-to-A以渐进的方式迭代构建视频数据集并优化可动画头像，确保在整个学习过程中头像质量平滑且持续提升。这种渐进式学习包括两个阶段：（1）空间一致性学习固定表情并从正面到侧面视图进行学习；（2）时间一致性学习固定视图并从放松到夸张的表情进行学习，以简单到复杂的方式生成4D头像。大量的实验表明，与现有的基于扩散的方法相比，Zero-1-to-A提高了保真度、动画质量和渲染速度，为逼真头像的创建提供了一个解决方案。代码在以下网址公开：https://github.com/ZhenglinZhou/Zero-1-to-A。

一句话总结

Zero-1-to-A提出了一种基于视频扩散模型从单张图像生成可动头部Avatar的方法，通过构建空间和时间一致性数据集，实现了高质量和高效的Avatar生成。

问题1：这篇论文想要解决什么具体问题？

• 问题背景：可动头部Avatar生成通常需要大量数据来训练，而现有方法依赖于预训练的扩散模型，但直接从视频扩散中提取4D Avatar往往导致结果过于平滑，因为生成的视频在空间和时间上存在不一致性。
• 现有方案不足：现有方法直接从视频扩散中提取4D Avatar，导致结果平滑且缺乏细节，无法生成逼真的Avatar。
• 研究目标：提出Zero-1-to-A方法，通过视频扩散模型从单张图像生成高质量和逼真的可动头部Avatar。

问题2：论文的核心创新点是什么？

• 技术创新：提出了SymGEN，通过构建空间和时间一致性数据集来增强Avatar生成的一致性。
• 方法改进：采用渐进式学习策略，将视频扩散生成过程分解为空间一致性学习和时间一致性学习，确保稳定的初始化和质量的平滑提升。
• 优势：相比现有方法，Zero-1-to-A在逼真度、动画质量和渲染速度方面有显著提升。

问题3：实验结果如何验证了方法的有效性？

• 关键实验：通过与其他方法（如DreamFusion、ProlificDreamer等）的对比，Zero-1-to-A在逼真度、动画质量和渲染速度方面均有显著提升。
• 性能提升：实验结果表明，Zero-1-to-A在ViT-L/14和ViT-B/32上的CLIP分数分别提高了0.1和0.05，表明其在高保真Avatar生成方面的有效性。
• 对比结果：与基线方法相比，Zero-1-to-A在动画质量和渲染速度上都有所提升。

问题4：这个研究的实际应用价值是什么？

• 应用场景：Zero-1-to-A可以应用于AR/VR、电影、游戏等领域，为用户提供逼真的虚拟形象。
• 实施建议：Zero-1-to-A可以与现有的视频扩散模型和3D建模技术相结合，以实现更广泛的实际应用。
• 局限与展望：目前Zero-1-to-A在建模头部以外的元素方面存在局限性，未来可以通过改进模型或引入新的技术来扩展其应用范围。