阿里新模型——Champ：实现3D人物图像转视频！

一张照片 + 一段视频，就能让照片活起来？今天给大家介绍的就是这款神器的视频生成框架—Champ！

关于Champ

Champ是由阿里巴巴、南京大学和复旦大学的研究人员共同提出的一种旨在提供可控且与原始人物保持一致性的人物图像动画视频生成框架。

通俗点来讲，它能把静态照片变成动态视频，这技术在人体视频生成领域能打！跟别的工具比，Champ的动作控制更精准，假影少，外观匹配度高，稳定性强，还能处理各种不同体型的人像，简直不要太棒！

模型原理

Champ 利用先进的人体网格恢复模型，从输入的人体视频中提取出对应的参数化三维人体网格模型 SMPL 序列（Skinned Multi-Person Linear Model），进一步从中渲染出对应的深度图，法线图，人体姿态与人体语义图，作为对应的运动控制条件去指导视频生成，将动作迁移到输入的参考人像上，能够显著地提升人体运动视频的质量，以及几何和外观一致性。

来看下 Champ 在真实世界人像上的视频效果，以下图左上角的动作视频为输入，Champ 能让不同的人像「复制」相同的动作：

应用场景

Champ模型的应用前景广阔。在娱乐行业，它可以为电影和游戏角色提供更加逼真的动作捕捉；在社交媒体上，用户可以创建个性化的动态头像，让社交互动更加生动有趣；对于艺术家和内容创作者来说，Champ提供了一个全新的创作工具，让他们的作品更具吸引力和表现力。

如何使用？

Champ目前已经全面开源，大家直接上GitHub下载代码就行。当然了，Hugging Face上也有Demo，想先试水的可以在线玩～

项目地址：

https://fudan-generative-vision.github.io/champGitHub

地址：

https://github.com/fudan-generative-vision/champ

论文地址：

https://arxiv.org/pdf/2403.14781

Hugging Face 链接：

https://huggingface.co/fudan-generative-ai/champ

*西安觉醒元宇宙AI，是专注线上AI培训、AI绘画辅导、AI开发服务的专业教育平台！

▍扫描下方二维码进入AI交流学习群，获取超多AI前沿知识！