SyncTalk模型的安装、训练和推理方法

已于 2024-07-08 17:04:55 修改
阅读量1.1k 收藏 27
点赞数 9
分类专栏： SyncTalk 文章标签： agi 深度学习
于 2024-07-08 09:55:35 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ScottOcp/article/details/140243136
版权

目录

SyncTalk模型简介

安装步骤（Windos）

1、百度网盘下载代码

2、cuda安装

3、aconda安装

4、在aconda中创建虚拟环境

5、checkpoints下载

6、更新代码

数据预处理

1、准备视频

2、预处理命令

训练

1、运行命令

2、训练结果

推理

1、准音频

2、命令

3、运行结果

SyncTalk模型简介       

       SyncTalk是一种基于NeRF的高同步性说话人合成方法，专门针对提升说话人视频真实感和同步性而设计，克服了以往在同步性方面遇到的挑战，仅使用5分钟的说话视频即可生成高真实感的人物形象。目前该工作已入选CVPR 2024。下图为SyncTalk概览图，来自SyncTalk论文。

      论文题目： SyncTalk: The Devil is in the Synchronization for Talking Head Synthesis

      论文链接： https://arxiv.org/abs/2311.17590

      项目主页： https://ziqiaopeng.github.io/synctalk

      代码链接： https://github.com/ZiqiaoPeng/SyncTalk

      效果展示：

5分钟素材创造超写实人物形象

安装步骤（Windos）

1、百度网盘下载代码

百度网盘 请输入提取码

2、cuda安装

论文作者给出的版本：

Tested on Ubuntu 18.04, Pytorch 1.12.1 and CUDA 11.3.

Windows环境，建议安装cuda11.7，我已安装了百度网盘里的代码，执行conda list，python的版本为3.9，cuda的版本为11.7

具体安装步骤请见：

windows系统CUDA的详细安装教程_windows安装cuda-CSDN博客

3、aconda安装

步骤请见

（Windows系统）Anaconda下载及安装超详细教程（图文步骤附带详细解释，简单易上手）！！_anaconda windows-CSDN博客

 关于环境变量，anaconda程序会自动填写，检查后没有自动填写的可手动填写。

4、在aconda中创建虚拟环境

 创建虚拟环境synctalk，命令如下：

conda create --name synctalk python=3.9

 创建成功后，把SyncTalk-Windows\face-SyncTalk\venv中的文件拷贝到anaconda的synctalk文件  夹中。

5、checkpoints下载

checkpoints文件的获取有几种方式：

网盘

链接：https://pan.baidu.com/s/1B6torAhoJ5Sgw-Z2BJfyOQ 
提取码：bkgt

推理、训练时程序检测不到对应的文件会自动下载，如果觉得下载过程太慢，可以粘贴提示说明里的文件地址，用迅雷下载。

下载好的checkpoints文件，存储位置为：C:\Users\Admin\.cache\torch\hub\checkpoints

6、更新代码

下载synctalk最新代码，覆盖到本地的程序上，下载地址如下：

https://github.com/ZiqiaoPeng/SyncTalk

下载AD-NeRF中的data_util文件夹，覆盖synctalk的data_utils文件夹

AD-NeRF/data_util at master · YudongGuo/AD-NeRF · GitHub

数据预处理

1、准备视频

视频要求，帧速率 ：25FPS，帧宽高：512*512，每帧画面必须有说话的人，视频长度建议在4分02秒内，多于此时间会报错，需要调整代码。

视频需要高分辨率，低分辨率的视频训练出来效果较差。

视频放入目录 SyncTalk-Windows\face-SyncTalk\SyncTalk\data\<ID>\<ID>.mp4

2、预处理命令

conda activate synctalk
cd I:\AI\SyncTalk\SyncTalk-Windows\face-SyncTalk\SyncTalk
SET PATH=..\venv\ffmpeg;%PATH%
python data_utils/process.py data/<ID>/<ID>.mp4 --asr ave

预处理命令

预处理结果

运行数据预处理程序时，需注意，运行完毕，检查bs.npy文件是否生成，有时会无法生成这个文件，此时需要运行以下命令生成此文件

python data_utils/blendshape_capture/main.py --path I:\AI\SyncTalk\SyncTalk-Windows\face-SyncTalk\SyncTalk\data\test3

训练

1、运行命令

设置环境变量

SET PATH=..\venv\ffmpeg;%PATH%

初步训练，会训练到11轮，模型有了初步的效果，建议进一步训练，*.pth为模型的权重（weights）和偏置（biases）。
python main.py data/test3 --workspace model/trial_test3 -O --iters 60000 --asr_model ave

进一步训练，再训练8轮

python main.py data/test3 --workspace model/trial_test3 -O --iters 100000 --finetune_lips --patch_size 64 --asr_model ave

至此，模型训练基本完成，如果一切顺利，能得到效果较好的推理结果。但有时会出现双下巴的情况，可能是训练视频质量的问题，可以尝试进一步训练，解决双下巴的问题，但如果训练视频的质量不佳，可能还是解决不了双下巴的问题。

python main.py data/test3/ --workspace model/trial_test3_torso/ -O --torso --head_ckpt model/trial_test3/checkpoints/ngp_ep0019.pth --iters 150000 --asr_model ave

此命令会训练到28轮。

2、训练结果

训练结果如下图

推理

1、准音频

准备wav文件，文件不限长度，放入SyncTalk-Windows\face-SyncTalk\SyncTalk\demo

2、命令

设置环境变量

SET PATH=..\venv\ffmpeg;%PATH%

没有进行修复下巴训练的情况

python main.py data/test3 --workspace model/trial_test3 -O --test --test_train --asr_model ave --portrait --aud ./demo/test.wav

进行修复下巴训练的情况

python main.py data/test3 --workspace model/trial_test3_torso -O  --torso --test --test_train --asr_model ave --aud ./demo/test.wav

3、运行结果

5分钟素材创造超写实人物形象

ScottOcp
关注
  • 9
    点赞
  • 踩
  • 27
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
数字人克隆中SyncTalk算法介绍与部署过程
2401_86594982的博客
08-05 701
SyncTalk合成同步的头部说话视频，采用三平面哈希表示来保持主体身份。它可以生成同步的嘴唇动作、面部表情和稳定的头部姿势，并恢复头发细节以创建高分辨率视频。
探索未来影像：SyncTalk，同步唇语合成的革命性开源工具
gitblog_00017的博客
06-08 688
探索未来影像：SyncTalk，同步唇语合成的革命性开源工具 项目地址:https://gitcode.com/ZiqiaoPeng/SyncTalk 在数字时代，视频内容创作变得日益普及，而逼真的面部动画是提升用户体验的关键之一。SyncTalk 是一项前沿的技术，它为创造高度同步的头部合成视频提供了全新的解决方案。这个由Ziqiao Peng开发的开源项目，以精确的唇动同步和表情捕捉为核心，通...
揭秘SyncTalk算法：如何让数字人唇动与语音无缝对接，实现‘声形合一’
2401_86594982的博客
08-28 713
而SyncTalk算法，正是这一领域中的一颗璀璨明星，它以独特的技术优势，让数字人的唇动与语音实现了近乎完美的“声形合一”。通过深入研究音频信号与唇动变化的内在联系，我们成功开发出了一套高效、精准的唇语同步算法，使得数字人在表达时能够做到唇动与语音的完美同步，极大地提升了用户的交互体验。在数据预处理阶段，算法通过精心设计的特征工程提取音频信号中的关键特征，如梅尔频率倒谱系数（MFCC）、短时能量、过零率等，以及唇动视频中的唇部轮廓、形状参数等。这些特征被用作模型训练的输入，以捕捉音频与唇动之间的细微关联。
SyncTalk The Devil is in the Synchronization for Talking Head Synthesis|论文随记
weixin_51172489的博客
03-08 1164
如图2所示。SyncTalk主要由3部分组成：a）由FaceSync控制器控制的嘴唇运动和面部表情，b）由HeadSync稳定器提供的稳定头部姿势，c）由动态肖像渲染器渲染的高同步面部帧。
SyncTalk: The Devil is in the Synchronization for Talking Head Synthesis 论文水记
q86096404的博客
05-14 1011
Synctalk 水记一篇 ~
[数字人]唇形驱动，不生成头部动作算法总结
liguandong
04-22 863
知乎，中文互联网高质量的问答社区和创作者聚集的原创内容平台，于 2011 年 1 月正式上线，以「让人们更好的分享知识、经验和见解，找到自己的解答」为品牌使命。数字人可分为3D和2D，3D比较出名的是虚幻引擎的meta human，背后的技术涉及blendshape，类似sadtalker，wav2lip属于2d，根据输入的不同，进一步分为视频+音频，wav2lip和geneface，只生成新的口型，另一类是输入是图片+音频，sadtalker属于这一类，不仅生成新的口型，还生成头部运动，复杂度较高。
VideoReTalking：用于野外会说话的头部视频编辑的基于音频的唇形同步
04-27 5611
中，我们简要概述了𝐿大号斜体L-Net，包含两个子网络，下标𝐿𝑎{L}_{a}italic_L start_POSTSUBSCRIPT italic_a end_POSTSUBSCRIPT和下标𝐿𝑣{L}_{v}italic_L start_POSTSUBSCRIPT italic_v end_POSTSUBSCRIPT，分别用于音频和视频处理。，我们采用分而治之的策略，首先中和面部表情，然后使用修改后的帧作为唇形生成的姿势参考，考虑到所有参考面现在都具有相同的规范表情，这样更准确。中举例说明这种现象。
深度剖析AI机会，数字人智能对话系统：未来的人机交互新范式
Datawhale
06-09 1697
Datawhale干货作者：邓恺俊，Datawhale成员随着人工智能时代的到来，大模型的技术日新月异，我们不仅仅满足于文字之间的交互，希望能够有更近一步的交流。既然现在文字已经能够很好的模拟人类了，那随之而来的，是不是我们能够通过模拟人类交流的方式来交互。在前段时间，OpenAI 更新了 GPT-4o，拥有了能够进行实时语音对话的功能，低延时的反应与极其真实的声音极大的提高了交流的真实感。随...
详谈大模型训练和推理优化技术
夏栀的博客
05-19 1万+
本文介绍大模型的训练和推理优化技术，包括混合精度训练、分布式训练DeepSpeed、INT8模型量化、参数有效性学习、混合专家训练、梯度检查点、梯度累积、Flash Attention等。
大模型训练和推理阶段的内存消耗估计
xiaoxiaoyu290的博客
05-05 1609
本文以Mixtral-8x22B为例来介绍各个阶段的内存消耗以及推理和训练时的内存消耗。
详解大模型微调数据集构建方法(持续更新)
热门推荐
herosunly的博客
06-05 10万+
本文详细介绍了大模型微调数据集构建方法，希望能对学习大模型的同学们有所帮助。 文章目录 1. 前言 2. 微调数据集构建方法 2.1 方法一 2.2 方法二 2.3 方法三 2.4 方法四
【深度】工程师必备—AI模型训练+推理优化+嵌入部署
cv君的博客
09-04 4万+
文章目录一 项目展示二 依赖环境与导读2.1依赖环境2.2 本文导读三 模型训练3.1 新手也能做对的教学3.2 高手也爱的黑科技：无损的半精度模型四 模型优化4.1 Openvino 介绍 可以参见这篇博客4.2 Openvino安装4.3 Openvino 模型转换与推理五 模型部署5.1 模型转换 部署自己训练好的算法模型，经过openvino推理后应用于2085模组六 模组使用6.1运行cnn目标检测demo6.2 部署自己训练好的算法模型，经过openvino推理后应用于2085模组七 实际对比八
模型全参数训练和LoRA微调所需显存的分析
herosunly的博客
05-05 9万+
本文介绍模型全参数训练和LoRA微调所需显存的分析，希望对学习和使用大模型的同学们有所帮助。 文章目录 1. 前言 2. 全参数训练 3. LoRA微调
什么是AIGC？什么是AGI？
最新发布
hahaha_1112的博客
09-02 194
AIGC聚焦于通过 AI 技术自动生成内容，已经在很多领域取得了实际应用。AGI则是人工智能领域的长期愿景，目标是实现具有广泛智能的系统，但目前仍处于研究和探索阶段。
深度学习100问27:什么是截断的BPTT
yyq916的博客
08-31 378
截断的 BPTT 呢，先确定一个合适的长度，就好比决定每一小段故事有多长。这种方法在很多地方都大显身手哦，比如自然语言处理里训练语言模型、搞机器翻译的时候，就像一个得力的小助手。想象一下，你有一个超级长的故事要讲，一口气从头讲到尾可太难啦，而且很容易把自己绕晕。这时候呢，截断的 BPTT 就像把这个长故事分成一小段一小段来讲。在循环神经网络训练那些长长的序列数据的时候，如果直接像个“愣头青”一样用传统方法，那计算量会大得吓人，还可能出现梯度消失或者爆炸的情况，就像烟花放一半突然熄火或者炸得不可收拾。
Slideflow：数字病理学中的深度学习与全切片可视化工具库｜文献精析·24-09-02
罗小罗同学的博客
09-02 1370
Slidefow是一个Python包，提供了一套深度学习工具库，这些工具库使用PyTorch和Tensorflow后端实现。它被开发用于为科学研究构建和部署深度学习组织病理学应用，提供端到端工具包，包括高效的数据处理、模型训练、评估、不确定性量化、可解释性以及在图形用户界面（GUI）中模型部署。Slidefow包含一个全切片用户界面，Slidefow Studio，用于实时生成全切片图像的预测和热力图。
yolov5 6.0训练推理
08-16
在使用yolov5 6.0进行训练和推理时，你可以按照以下步骤进行操作： 1. 首先，你需要下载并安装yolov5 6.0版本的代码和依赖库。 2. 接下来，你可以根据自己的需求，准备训练数据集。你可以参考第一个链接中的详细教程，了解如何准备数据集和配置文件。 3. 在训练之前，你需要下载对应版本的权重文件。这些权重文件可以在训练时使用，也可以在推理时使用。你可以在runs/train/exp15/weights文件夹中找到训练完成后生成的pt文件。如果上次训练中止，你可以将上一轮训练结果的pt文件替换为last.pt，然后继续训练。对于推理，一般使用best.pt文件。 4. 在训练过程中，你可以根据需要进行调整和优化，比如修改模型结构、调整超参数等。训练完成后，你会得到一个训练好的模型文件。 5. 接下来，你可以使用训练好的模型进行推理。使用onnx模型可以直接被OpenCV DNN加载。此外，yolov5 6.0版本还提供了更轻巧的nano迷你版pt模型，可以根据需要选择合适的模型进行推理。 总结起来，使用yolov5 6.0版本进行训练和推理的步骤如下： 1 - 下载并安装yolov5 6.0版本的代码和依赖库。 2 - 准备训练数据集，可以参考第一个链接中的教程。 3 - 下载对应版本的权重文件，可以在runs/train/exp15/weights目录中找到训练生成的pt文件。 4 - 根据需要进行调整和优化，训练模型。 5 - 使用训练好的模型进行推理，可以使用onnx模型直接加载或选择nano迷你版pt模型。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *2* *3* [windows上yolov5 6.0 6.1训练 jetson nano上用tensorrtx部署](https://blog.csdn.net/weixin_46596757/article/details/123221380)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v92^chatsearchT0_1"}}] [.reference_item style="max-width: 100%"] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值