如何本地部署虚拟数字克隆人 SadTalker

玩人工智能的辣条哥

已于 2024-01-20 22:27:22 修改

阅读量2.1k

点赞数 9

分类专栏：人工智能文章标签： SadTalker 数字人

于 2024-01-20 22:19:11 首次发布

本文链接：https://blog.csdn.net/weixin_42672685/article/details/134940709

版权

人工智能专栏收录该内容

32 篇文章 1 订阅

订阅专栏

本文指导如何在Windows10环境下本地部署SadTalker，一个使用3D运动系数和音频驱动的单图像说话人脸动画工具，涉及安装Anaconda、Python、Git，设置环境变量，以及下载、配置和使用预训练模型进行动画和全身体验。

摘要由CSDN通过智能技术生成

环境：

Win10

SadTalker

问题描述：

如何本地部署虚拟数字克隆人 SadTalker

在这里插入图片描述

解决方案：

SadTalker：学习逼真的3D运动系数，用于风格化的音频驱动的单图像说话人脸动画

单张人像图像🙎 ♂️+音频🎤=会说话的头像视频🎞

一、底层安装

安装 Anaconda、python 和 git

1.下载安装Anaconda

conda是一个开源的软件包管理系统和环境管理系统，用于安装多个版本的软件包及其依赖关系，并在它们之间轻松切换。 conda是为 python程序创建的，适用于 Linux，OS X和Windows，也可以打包和分发其他软件。conda分为Anaconda和MiniConda。Anaconda是包含一些常用包的版本，Miniconda则是精简版，一般建议安装Anaconda，本文也以安装Anaconda为例
在这里插入图片描述 next一直往下直到完成（需要一点时间）

2.安装Git

next一直往下直到完成

在这里插入图片描述
3.安装python

next一直往下直到完成
在这里插入图片描述

二、创建环境并安装需求

D盘新建SadTalker文件夹

1.git再这里打开

在这里插入图片描述

2.安装 ffmpeg

下载 ffmpeg-6.1-full_build，解压到D:\SadTalker\

cmd设置环境变量

setx path "%path%;D:\SadTalker\ffmpeg-6.1-full_build\bin\ffmpeg.exe" /M

在这里插入图片描述

3.通过运行 git clone https://github.com/Winfredy/SadTalker.git 下载 SadTalker 存储库

git clone https://github.com/Winfredy/SadTalker.git

失败
在这里插入图片描述去掉https后面s

git clone http://github.com/Winfredy/SadTalker.git

在这里插入图片描述

5.在下载部分下载检查点和 gfpgan 模型。
Run start.bat from Windows Explorer as normal, non-administrator, user, and a Gradio-powered WebUI demo will be started.

从Windows资源管理器正常运行 start.bat ，非管理员，用户和Gradio驱动的WebUI演示将启动。

三、下载模型

Pre-Trained Models 预训练模型

1.checkpoints
在这里插入图片描述
移到到SadTalker文件夹

在这里插入图片描述

2.GFPGAN Offline Patch GFPGAN 离线补丁

解压到SadTalker文件夹在这里插入图片描述

四、Quick Start 快速上手

1.打开SadTalker目录，点击webui.bat等待安装部署

在这里插入图片描述
中途报错
升级一下

python -m pip install --upgrade pip

在这里插入图片描述
下载相关文件

在这里插入图片描述首次使用，自动安装

就好了，最终看到这个界面

在这里插入图片描述

浏览器访问http://127.0.0.1:7860即可

在这里插入图片描述

CLI usage CLI 用法
Animating a portrait image from default config:
从默认配置对人像图像进行动画处理：

python inference.py --driven_audio <audio.wav> \
                    --source_image <video.mp4 or picture.png> \
                    --enhancer gfpgan 

The results will be saved in results/$SOME_TIMESTAMP/*.mp4.
结果将保存在 results/$SOME_TIMESTAMP/*.mp4 中。
Full body/image Generation:
全身/图像生成：

Using --still to generate a natural full body video. You can add enhancer to improve the quality of the generated video.
用于 --still 生成自然的全身视频。您可以添加 enhancer 以提高生成的视频的质量。

python inference.py --driven_audio <audio.wav> \
                    --source_image <video.mp4 or picture.png> \
                    --result_dir <a file to store results> \
                    --still \
                    --preprocess full \
                    --enhancer gfpgan