AniPortrait 项目推荐

AniPortrait 项目推荐

AniPortrait AniPortrait: Audio-Driven Synthesis of Photorealistic Portrait Animation 项目地址: https://gitcode.com/gh_mirrors/an/AniPortrait

1. 项目基础介绍和主要编程语言

AniPortrait 是一个开源项目，旨在通过音频驱动生成高质量的写实肖像动画。该项目由华为的 Wei 和 Zejun Yang 以及 Zhisheng Wang 共同开发，隶属于腾讯游戏 Zhiji 团队。项目主要使用 Python 语言进行开发，并且依赖于多种深度学习框架和工具，如 PyTorch 和 StableDiffusion。

2. 项目核心功能

AniPortrait 的核心功能是通过音频和参考肖像图像生成高质量的动画。具体来说，项目能够：

• 音频驱动动画：根据输入的音频片段生成相应的面部表情和动作。
• 肖像图像动画：通过参考肖像图像生成与之匹配的动画。
• 视频重演：提供视频重演功能，使得生成的动画与参考视频中的动作一致。

3. 项目最近更新的功能

最近，AniPortrait 项目进行了多项更新，主要包括：

• 2024/03/27：论文在 arXiv 上发布，并更新了代码以生成用于头部姿态控制的 pose_temp.npy 文件。
• 2024/04/02：更新了新的姿态重定向策略，支持参考图像和源视频之间显著的姿态差异。
• 2024/04/03：在 HuggingFace Spaces 上发布了 Gradio 演示（感谢 HF 团队提供的免费 GPU 支持）。
• 2024/04/07：添加了帧插值模块，加速推理过程，现在可以通过添加 -acc 参数来加速视频生成。
• 2024/04/21：发布了 audio2pose 模型和预训练权重，用于 audio2video，用户需要更新代码并下载权重文件以体验。

AniPortrait AniPortrait: Audio-Driven Synthesis of Photorealistic Portrait Animation 项目地址: https://gitcode.com/gh_mirrors/an/AniPortrait