AniPortrait安装与配置完全指南

AniPortrait安装与配置完全指南

AniPortrait AniPortrait: Audio-Driven Synthesis of Photorealistic Portrait Animation 项目地址: https://gitcode.com/gh_mirrors/an/AniPortrait

项目基础介绍与主要编程语言

AniPortrait 是一个由华为魏华为、杨泽俊、王志生三人共同在腾讯游戏智机部开发的开源项目。它提供了一个创新框架，能够通过音频片段驱动真实感肖像动画的合成，甚至可以利用另一段人类视频来实现肖像的动态再现。此项目基于Python构建，并集成了深度学习技术，特别是对于计算机视觉（CV）领域，应用了先进的模型和算法。

关键技术和框架

• 深度学习库: 使用PyTorch作为其主要深度学习后端。
• 音频处理: 利用音频特征提取技术，可能结合Wav2Vec等模型。
• 图像生成: 应用了扩散模型(Diffusion Models)以生成高质量的图像帧。
• 3D到2D转换: 技术栈中包括从音频中提取3D表示并转换为2D面部关键点的技术。
• 运动模块: 用于将关键点序列转换成连贯的逼真肖像动画。

安装和配置指南

准备工作

1. 环境要求: 确保你的系统上已安装Python 3.10或更高版本，以及CUDA 11.7以充分利用GPU加速。
2. Git: 安装Git来克隆项目代码。
3. 深度学习依赖: 安装PyTorch及相关库。可通过运行pip install torch torchvision torchaudio来安装最新版PyTorch（确保与你的CUDA版本兼容）。
4. 其他Python依赖: 下载项目后，通过命令行运行pip install -r requirements.txt安装所有必需的包。

克隆项目

打开终端或命令提示符，执行以下命令克隆AniPortrait仓库到本地：

git clone https://github.com/Zejun-Yang/AniPortrait.git
cd AniPortrait

下载预训练权重

1. 主权重文件: 根据项目的指示访问指定链接下载预训练权重，并解压至项目根目录下的pretrained_weights文件夹。
2. 辅助模型: 还需下载StableDiffusion、wav2vec2等模型的权重，并按照文档指示放置于相应目录。

配置环境

• 修改配置文件中的路径指向正确的权重位置，尤其是如果你没有将所有资源放在默认位置。
• 示例配置文件如animation_yaml，应检查并配置参考图像或视频路径。

运行示例

自我驱动动画生成

python -m scripts.pose2vid --config ./configs/prompts/animation.yaml -W 512 -H 512 -acc

面部重演

python -m scripts.vid2vid --config ./configs/prompts/animation_facereenac.yaml -W 512 -H 512 -acc

音频驱动动画生成

首先确保你已经注释或删除了配置文件中关于pose_temp的路径，或者提供了音频对应的姿势控制数据。然后运行：

python -m scripts.audio2vid --config ./configs/prompts/animation_audio.yaml -W 512 -H 512 -acc

注意事项

• 确保在进行视频或图像处理之前，所有的输入素材质量良好且符合项目的要求。
• 对于初次尝试，建议先按步骤尝试简单的命令，逐步熟悉各个组件的功能。
• 在使用GPU加速时，检查你的硬件支持情况和显存大小，适当调整参数避免内存溢出。

完成以上步骤后，你就应该能够成功地设置并使用AniPortrait进行肖像动画的生成了。享受创意之旅！

AniPortrait AniPortrait: Audio-Driven Synthesis of Photorealistic Portrait Animation 项目地址: https://gitcode.com/gh_mirrors/an/AniPortrait