sadtalker-- 本地生成数字人

已于 2023-07-18 16:24:38 修改
阅读量2k 收藏 10
点赞数 1
分类专栏： 数字人 文章标签： 虚拟现实
于 2023-07-18 16:21:48 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/cs492934056/article/details/131764537
版权

文章目录

概要

sadtalker，可以根据图片以及语音，生成动态视频，跟现在的数字人直播电商差不多，制作成视频后加个推流到直播间即可。本章节，主要记录从无到有搭建sadtalker环境，期间也出现了多个问题，也做了相应的记录。

工具讲解

这里把安装包都集成了，需要的可以自行下载，也可以根据官网提示自行下载…
百度网盘：此处

  1. python-3.10.6-amd64：必须是这个版本，github官网也是这样说的
  2. Everything 64位_1.4.1.1024：用于寻找本地文件的，找到pip.ini文件，并且删除，避免其他源造成环境污染
  3. 7-Zip 64位_23.1.0.0：用于解压文件，系统自带的话可不用安装
  4. checkpoints：模型文件，解压到sadtalker 根目录即可 {{sadtalkerDir}}/checkpoints
  5. ffmpeg-release-full：用于数字人运行环境
  6. SadTalker-main：数字人运行文件

安装流程

sadtalker github：此处

官方流程简化版

  1. 安装Python 3.10.6，选中“将 Python 添加到 PATH”。
  2. ffmpeg按照此说明安装。
  3. 下载我们的 SadTalker 存储库。.
  4. 下载checkpoint以下gfpgan ↓。
  5. 进入根目录，执行 webui.bat 文件。

1. 安装Python

下载地址：Python 3.10.6
需要选中下方复选框，将环境添加到系统中...
在这里插入图片描述

2. 安装FFmpeg

官方下载地址：FFmpeg
官方傻瓜式教程：此处
太多步骤了，简单来说就是下载后，添加到环境变量...
略…

3. 安装Sadtalker

下载

在这里插入图片描述

解压

在这里插入图片描述

运行webui.bat

在这里插入图片描述
这里报错了
ERROR: Could not find a version that satisfies the reguirement torch==1.12.1+cu113 (from versions: 2.0.0, 2.0.1)
ERROR: No matching distribution found for torch==1.12.1+cu113

检测后发现是其他python版本3.11.x 问题，重新安装python3.10.6即可…

  1. 卸载其他版本，并且删除遗留的配置文件
  2. 安装python3.10.6
  3. 重启电脑
  4. 删除sadtalker文件夹
  5. 重新解压运行webui.bat

在这里插入图片描述
再次运行webui.bat
好家伙，又失败了…
在这里插入图片描述

这边用everything，清空了其他的python环境，并且将之前设置的清华源配置文件删除了，删了SadTalker-main 文件夹，重新来一遍。
并且在上面那个步骤，用了科学上网然后就可以了…

删除配置文件

在这里插入图片描述

效果如下：

在这里插入图片描述

又报错了...到这里就可以正常打开了，但是呢，不可以生成，因为还没有导入模型...

在这里插入图片描述

打开命令行CMD，看看报错信息
在这里插入图片描述

4. 导入模型

官网上也可以找到，这边直接放在网盘了，解压即可

在这里插入图片描述

使用流程

1. 生成语音

在这里插入图片描述

2. 上传图片跟语音

在这里插入图片描述

3. 点击生成，漫长等待

在这里插入图片描述

等不了了，太慢了，还是手动下载 (缺啥下啥就好了)

在这里插入图片描述

ctrl+鼠标左键，然后科学上网下载。。。

在这里插入图片描述
在把科学上网关闭，重新打开 webui.bat，重新生成视频，如下：

在这里插入图片描述
短一点的语音没问题，我放了30s的语音就报错了，可能是内存原因，如果你报错了，可以继续执行第四步…

4. 虚拟内存

系统设置-
在这里插入图片描述
在这里插入图片描述

终于可以了~~~
在这里插入图片描述

小结

本章节到这里就结束了，下一步尝试接入opengpt，干就完事了…

Penk是个码农
关注
  • 1
    点赞
  • 踩
  • 10
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 3
    评论
专栏目录
GAN-数字图片生成.zip
04-06
# 代码作用: AC_GAN网络，手写数字图片生成 # 输入: mn_ist数据集 x_train, y_train # 输出: 100张生成图片，0-9 迭代200次左右，依稀可见数字轮廓；迭代1000次左右，人能直接辨认；迭代8000次左右，清晰明了
js-range:从头到尾生成数字数组序列的函数
06-11
js范围一个函数，用于生成从开始（包括）到结束（不包括）的数字数组序列，逐步，其中开始和结束默认为 0，步为 1。当开始等于结束时，返回空列表。 类似于 ，但没有懒惰。安装 npm i -S js-range用法 import range ...
数字人解决方案——Wav2lip本地部署
u012148903的博客
04-08 1906
执行安装包.bat命令 ，本地化安装运行环境包，launcher.py，安装包.bat,代码在文章末尾，复制到Wav2lip文件夹下新建文件，复制源码进去即可。下载地址：https://www.adrianbulat.com/downloads/python-fan/s3fd-619a316812.pth。将下载的模型文件放置在face_detection/detection/sfd目录下，并重命名为s3fd.pth。使用conda创建新的虚拟环境并激活。准备Wav2Lip模型文件。
【数字人】1、SadTalker | 使用语音驱动单张图片合成视频（CVPR2023）
呆呆的猫的博客
09-17 3284
本文主要介绍 SadTalker
AI绘画Stable Diffusion图片也能开口说话？别惊讶！用SadTalker插件，一键生成自己的数字人，本地部署，免费使用！（附资料）
最新发布
A1353192296的博客
05-11 649
感兴趣的小伙伴，赠送全套AIGC学习资料，包含AI绘画、AI人工智能等前沿科技教程和软件工具，具体看这里。AIGC技术的未来发展前景广阔，随着人工智能技术的不断发展，AIGC技术也将不断提高。未来，AIGC技术将在游戏和计算领域得到更广泛的应用，使游戏和计算系统具有更高效、更智能、更灵活的特性。同时，AIGC技术也将与人工智能技术紧密结合，在更多的领域得到广泛应用，对程序员来说影响至关重要。未来，AIGC技术将继续得到提高，同时也将与人工智能技术紧密结合，在更多的领域得到广泛应用。
基于SadTalker的AI数字人视频（以AutoDL算力云平台部署为例）
Little_Carter的博客
06-24 2775
SadTalker是一个开源的虚拟数字人制作工具，可以用一张图片生成数字人口播视频。SadTalker生成3DMM的三维（头部姿势、表情）系数，利用三维面部渲染器进行视频生成。SadTalker还提供了一些新的模式，例如静态模式、参考模式、调整大小模式等，以便更好地进行自定义应用程序。
教你用SadTalker一键整合包轻松制作专属数字人
dfBeautifulLive的博客
01-10 3962
首先我们准备图片，可以真人，动漫都可以，最好是正面头像，（测试后最好是咧嘴微笑的照片口型更自然，紧闭双唇嘴部运动效果不明显，）有些图片效果不好，可以多换些图片，有的效果很好，然后图片可以是SD生成图片，也可以你本人照片，或者网图。先说下我的显卡，大家参考下，我的显卡是6G，10秒内的音频转换数字人需要一分钟左右，我的显卡就不能选择高清了，选择高清就卡的不行。语音准备，我是在在线的文本转语音工具，这个工具还蛮不错的，不用登录什么的，可以直接使用，界面如下，full：保留全身，全身照生成视频。
AI数字人：sadtalker让照片开口说话
十年以上架构设计经验，专注于软件架构和人工智能领域，对机器视觉、NLP、音视频等领域都有涉猎
06-07 4252
西安交通大学也开源了人工智能SadTalker模型，通过从音频中学习生成3D运动系数，使用全新的3D面部渲染器来生成头部运动，可以实现图片+音频就能生成高质量的视频。通过人脸图像和一段语音音频生成说话的头部视频仍然包含许多挑战。即不自然的头部运动、扭曲的表情和身份修改。研究团队认为这些问题主要是因为从耦合的 2D 运动场中学习。另一方面，明确使用 3D 信息也存在表情僵硬和视频不连贯的问题。
Stable Diffusion能让图片也能开口说话？别惊讶！用SadTalker插件，一键生成自己的数字人（附资料）
A1353192296的博客
04-23 866
感兴趣的小伙伴，赠送全套AIGC学习资料，包含AI绘画、AI人工智能等前沿科技教程和软件工具，具体看这里。AIGC技术的未来发展前景广阔，随着人工智能技术的不断发展，AIGC技术也将不断提高。未来，AIGC技术将在游戏和计算领域得到更广泛的应用，使游戏和计算系统具有更高效、更智能、更灵活的特性。同时，AIGC技术也将与人工智能技术紧密结合，在更多的领域得到广泛应用，对程序员来说影响至关重要。未来，AIGC技术将继续得到提高，同时也将与人工智能技术紧密结合，在更多的领域得到广泛应用。
照片会说话？开源AI数字人工具SadTalker环境搭建和使用教程
Heathens的博客
03-31 1874
照片说话，数字人，sadtalker 源码运行环境搭建，整合包获取
SadTalker语音驱动肖像图像数字人源码与模型
03-18
SadTalker 模型在三维运动场中学习如何从音频中生成3DMM的3D运动...参考博客《数字人解决方案— SadTalker语音驱动图像生成视频原理与源码部署》 博客链接：https://blog.csdn.net/matt45m/article/details/13676466
matlab_数字视频广播2K信号生成与2N-IFFT
06-28
在本项目"matlab_数字视频广播2K信号生成与2N-IFFT"中，我们将探讨如何使用MATLAB来模拟和生成DVB标准中的2K信号，并应用2N-IFFT（快速傅里叶逆变换）这一关键算法。 MATLAB是一种强大的数学计算和数据分析环境，...
Simple-GANs:用于生成数字发行的GAN
04-30
细数生成对抗网络和自然语言处理的那些恩怨情仇文本生成的基础模型（Introduction）在众多NLP的task中，文本生成(Text Generation) 是一种结合了机器学习和自然语言处理等技术层面而衍生出来的应用。他的诞生在一定...
SadTalker：Stylized Audio-Driven Single Image Talking Face Animation（CVPR2023）
04-06 2079
用语音音频制作静态人像图像是一项具有挑战性的任务，在数字人类创造、视频会议等领域有许多重要的应用。以往的研究主要集中在唇动的生成[2,28,29,48]，因为唇动与言语有很强的联系。最近的工作还旨在生成一个包含其他相关动作的逼真的谈话面部视频，例如，头部姿势。他们的方法主要是通过地标[49]和潜在翘曲引入二维运动场[37,38]。但是生成的视频质量仍然不自然，受到偏好pose[16,48]、月模糊[28]、身份修改[37,38]、扭曲脸[37,38,46]的限制。
类似D-ID的免费开源的，虚拟人，数字人制作工具，SadTalker搭建教程及效果演示----环境搭建！！！
qq_43199049的博客
11-08 251
我的做法，使用everythin搜索工具，将我pytorch 里面大的对应重复文件，放到一个它同级目录，新建文件夹中，文件夹名随意取，“”暂时删除“”，解决第一个冲突...最好用conda下载！2.创建python 3.8的环境，cd 进入克隆下载的文件，下载所有需要的依赖...所有使用清华源，下载不来的安装包，更换阿里源再下载一遍，最后用。git 克隆下来，官仓，官仓地址参考上述博客地址里有，官仓的主页！需要 .pth 文件，也在里面的weights里有！1.克隆仓库，科学上网，挂梯子，否则非常慢，
【虚拟主播】刚刚，我用三行代码创建了一个虚拟主播
热门推荐
AI知识搬运工
01-09 1万+
刚刚，我用三行代码创建了一个虚拟主播 刚刚，我花了10分钟，写了三行代码创建一个具有明星脸的虚拟主播 先看看效果： 语音播报虚拟主播2 实现简易的虚拟数字人非常简单，需要调用三个模型： （1）First Order Motion（表情迁移） （2）Text to Speech（文本转语音） （2）Wav2Lip（唇形合成）。 具体技术步骤如下： 1，把图像放入First Order Motion模型进行面部表情迁移，让虚拟主播的表情更加逼近真人，既然定位是一个主播，那表情都参考当然是
干货教程【AI篇】| 开源AI数字人工具SadTalker环境搭建和使用教程
铃灵狗的水墨书乡
04-01 2837
提供了一种非常简单好用的AI数字人生成工具，已经准备好了整合包和完整教程，欢迎来取！
AI 绘画Stable Diffusion 研究（十三）SD数字人制作工具SadTlaker使用教程
w风雨无阻w的专栏
08-20 3644
想必大家经常看到，无论是在产品营销还是品牌推广时，很多人经常以数字人的方式来为自己创造财富。：可以使用chatgpt 生成文案，再使用配音工具生成音频，保存起来。其实很简单，只需要在stable diffusion上安装sadtalker插件就能轻松生成自己的数字人。图片： 准备一张人物正面图片，我们可以用sd 文生图或图生图功能生成，也可以是其他的图片。姿态样式： 人脸姿态，一共47个数字，每个姿态都不一样，大家可自行测试选择喜欢的姿态。这里再演示一下，使用sd 图生图，生成一张正面图片的步骤。
sadtalker复现
weixin_56495125的博客
04-30 385
cvpr文章SadTalker复现
vue-qr数字可以生成二维码吗？
06-13
是的，vue-qr组件可以用于生成数字的二维码。您只需要将数字作为文本传递给组件的value属性即可生成对应的二维码。例如： ``` <template> <div> <qrcode-vue :value="1234567890"></qrcode-vue> </div> </template> <script> import QrcodeVue from 'qrcode.vue'; export default { components: { QrcodeVue } } </script> ``` 这样就可以生成一个包含数字1234567890的二维码。当然，您也可以根据需要将数字转换为字符串再传递给组件。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Penk是个码农

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值