使用sad talker制作AI数字人视频-【Stable Diffusion 实战教程】

已于 2024-03-31 00:49:12 修改
阅读量1k 收藏 17
点赞数 5
分类专栏： stable diffusion AI数字人 文章标签： stable diffusion 人工智能 AI作画 AIGC 音视频 程序员创富
于 2024-03-30 23:59:31 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jybaby/article/details/137187325
版权

使用sad talker制作AI数字人视频-【Stable Diffusion 实战教程】

目录

StableDiffusion安装-请访问下面文章

TTS 也就是 Text-to-speech 文字转语音

有问题可以私信

sad talker安装流程.

下载sadTalker插件所需要的模型与离线包文件​

checkpoint文件下载和配置

GFPGAN模型下载​-人脸增强模型

数字人效果请访问下面链接

  1. StableDiffusion安装-请访问下面文章

5分钟 Stable Diffusion 本地安装-本地部署（秋叶整合包）【Stable Diffusion 实战教程】_stable diffusion 秋叶整合包-CSDN博客

5分钟安装包，Stable Diffusion-安装（整合版），点击链接即可保存。

链接：夸克网盘分享

提取码：vSjh

  1. TTS 也就是 Text-to-speech 文字转语音

TTS 也就是 Text-to-speech，文字转语音可以说是视频创作者的福音了，前有剪映的小帅小美，后有 AI 音频爆发后的各种声音，通过消除对配音演员和录制会话的需求，大大减少了制作时间和成本。现在可以凭借 AI 音频多样化的可自定义语音和口音，使得创作者能够提高视频和语音内容的质量、创作更多引人入胜的内容，更好的吸引观众并将他们的视频提升到一个新的水平。 下面将给给大家介绍几款主流好用的 TTS 类音频软件：

​https://i-blog.csdnimg.cn/blog_migrate/2eb46fcdd9fe4905a8a99a6de8674e2e.png

一款免费的语音转文字的线上应用，短小精悍，页面十分简洁，基本上属于上手就能用的软件，不需要配置各种代码，内置了已经训练好的几十种声音可供选择，包括不但不限于：中文及各国语言，甚至还有粤语等方言，甚至还有经典的渣渣辉的声音。用来直接做短视频的配音还是很有特色的。一大亮点在于内置了训练好的各种游戏或动画中二次元角色的声音，可以直接使用，做短视频或者有兴趣的同学可以打开思路进行创作。

  1. 有问题可以私信

  1. sad talker安装流程.

打开stable diffusion 中扩展栏目，从网页下载sad talker插件，下载完之后可以在installed处检查会出现sadtalker的标志，如果有就下载成功了，如果没有可能是因为网络原因，多试几次，如果不行那就上gitup下载，并把下载后的插件放到sd栏目中的，E:\stable-diffusion-webui\extensions文件中。

打开 Stable Diffusion WebUI 选择 Extensions -》从 URL 安装，安装地址填写：https://github.com/OpenTalker/SadTalker

  1. 下载sadTalker插件所需要的模型与离线包文件​

在我们第一步安装插件后，大家重启webui便能看到SadTalker的tab选项，如下所示：

但是 sadtalker 的插件的运行需要我们下载两部分内容，一部分是checkpoint，一部分是GFPGAN模型.

​https://i-blog.csdnimg.cn/blog_migrate/31f74ae005ef444d5c38ce8e2dea6f42.png

  1. checkpoint文件下载和配置

checkpoint ： 指的是运行sadtalker插件需要的基础模型，如：预训练模型、构造脸部说话姿势等工具模型。下面提供两种下载地址：​

1、网页端下载，请按下图红框框出来的模型下载​

首先打开网址：Releases · OpenTalker/SadTalker · GitHub。​

先下载这4个文件

​https://i-blog.csdnimg.cn/blog_migrate/e03c38ac0328f3eafc1e77d2466ad175.png

当前界面一直往下滑，再下载8个文件：

​https://i-blog.csdnimg.cn/blog_migrate/57a25196e4c72cff95e4ffdfc15ce84c.png ​

一共12个文件。​

​

2、百度网盘下载链接方式：​

https://pan.baidu.com/s/1P4fRgk9gaSutZnn8YW034Q?pwd=sadt​

​

大家任选一种方式下载，完成后将下载的12个文件放到如下路径下：​

​

\stable-diffusion-webui\extensions\SadTalker\checkpoints

如果没有checkpoints 文件夹可手动创建，注意的是别忘了解压hub.zip文件，如下我的目录可参考。

​https://i-blog.csdnimg.cn/blog_migrate/94f2e56156cdc30d9ccff50eebaa259d.png ​

  1. GFPGAN模型下载​-人脸增强模型

GFPGAN是一种人脸增强模型，而sadTalker插件也训练了自己的人脸增强模型，下载地址如下：​

1、网页下载方式​

https://drive.google.com/file/d/19AIBsmfcHW6BRJmeqSFlG5fL445Xmsyi?usp=sharing​

2、百度网盘下载地址​

https://pan.baidu.com/s/1kb1BCPaLOWX1JJb9Czbn6w?pwd=sadt​

下载并解压，一共4个模型文件放到如下目录中：​

​

\stable-diffusion-webui\extensions\SadTalker\gfpgan\weights​

​

如果上述目录没有，请在SadTalker目录中自行创建

​https://i-blog.csdnimg.cn/blog_migrate/0f4b49a7fed0107588a887e8d240b895.png

  1. 下载并安装ffmpeg​-虚拟数字人能开口说话

这一步的作用是语音格式的各种转换，虚拟数字人能开口说话，需要我们上传自己的语音，如果格式不符合会自动转换。​

​

Windows下安装使用ffmpeg​

官网下载并安装： Download FFmpeg

​https://i-blog.csdnimg.cn/blog_migrate/898b9357f3d3700320a5c441302706b7.png

​https://i-blog.csdnimg.cn/blog_migrate/55f4c8483444eec20949dac2aa6a3206.png ​

点击后下载，将下载的文件拷贝到C盘根路径下，解压后并重新命名为 ffmpeg

​https://i-blog.csdnimg.cn/blog_migrate/8ea08a7a8bceafae4f1702af6d5d9391.png ​

配置环境变量​

快捷键 win + R ，输入：SYSTEMPROPERTIESADVANCED ，回车。

​https://i-blog.csdnimg.cn/blog_migrate/31409707e0826387a154211bf876ec6b.png ​

点击环境变量-》选择path-》编辑-》新建-》填入：C:\ffmpeg\bin​

​

检查ffmpeg是否安装成功，如下则成功

​https://i-blog.csdnimg.cn/blog_migrate/2fe50d16d529e5f2f771fbc10548c7de.png ​

第四步：生成虚拟数字人视频​

如此这般，就把sadtalker插件，配置到stable diffusion了，接下来的操作就很简单了，如下图所示，分别把你要上传的模特和语音上传至对应的栏目里，点击生成即可,建议使用面部修复，点击生成就可以了，生成结果在\sd-webui-aki-v4\outputs在这个文件夹里查看。在这里我就不做效果展示了大家可以私信我

​https://i-blog.csdnimg.cn/blog_migrate/13a2e148f06f9fc033783d8feb16311f.png ​

​

数字人效果请访问下面链接

红鼠爱学习
关注
专栏目录
Linly-Talker智能数字人实时对话系统如何部署体验
本博客，博文仅代表个人操作经验，不能完全解决你的问题，仅供参考，佛系回复。
03-12 1648
阿里的 FunASR 的语音识别效果也是相当不错，而且时间也是比 whisper 更快的，更能达到实时的效果，所以也将 FunASR 添加进去了，在 ASR 文件夹下的 FunASR 文件里可以进行体验，需要注意的是，在第一次运行的时候，需要安装以下库，参考 https://github.com/alibaba-damo-academy/FunASR。下载 Linly 模型:https://huggingface.co/Linly-AI/Chinese-LLaMA-2-7B-hf。nltk_data放在。
AI丨部署SadTalker并添加到Stable Diffusion
2401_84250614的博客
04-25 1464
感兴趣的小伙伴，赠送全套AIGC学习资料，包含AI绘画、AI人工智能等前沿科技教程和软件工具，具体看这里。AIGC技术的未来发展前景广阔，随着人工智能技术的不断发展，AIGC技术也将不断提高。未来，AIGC技术将在游戏和计算领域得到更广泛的应用，使游戏和计算系统具有更高效、更智能、更灵活的特性。同时，AIGC技术也将与人工智能技术紧密结合，在更多的领域得到广泛应用，对程序员来说影响至关重要。未来，AIGC技术将继续得到提高，同时也将与人工智能技术紧密结合，在更多的领域得到广泛应用。
Stable Diffusion WebUI安装SadTalker插件
-
07-27 3798
stable diffusion 安装 sadtalker，生成你自己的2D数字人
数字人整合包集合，第六个最好用，附免费下载链接
Everly_的博客
07-17 862
感兴趣的小伙伴，赠送全套AIGC学习资料，包含AI绘画、AI人工智能等前沿科技教程和软件工具，具体看这里。AIGC技术的未来发展前景广阔，随着人工智能技术的不断发展，AIGC技术也将不断提高。未来，AIGC技术将在游戏和计算领域得到更广泛的应用，使游戏和计算系统具有更高效、更智能、更灵活的特性。同时，AIGC技术也将与人工智能技术紧密结合，在更多的领域得到广泛应用，对程序员来说影响至关重要。未来，AIGC技术将继续得到提高，同时也将与人工智能技术紧密结合，在更多的领域得到广泛应用。
（三）SadTalker 让stable diffusion 人物可以说话
西风瘦马
05-01 5606
可以根据一张图片、一段音频，合成面部说这段语音的视频。图片需要真人或者接近真人。目前项目已经支持,可以SD出图后，结合一段音频合成面部说话的视频（抖音常见的数字人）
Stable Diffusion能让图片也能开口说话？别惊讶！用SadTalker插件，一键生成自己的数字人（附资料）
A1353192296的博客
04-23 1094
感兴趣的小伙伴，赠送全套AIGC学习资料，包含AI绘画、AI人工智能等前沿科技教程和软件工具，具体看这里。AIGC技术的未来发展前景广阔，随着人工智能技术的不断发展，AIGC技术也将不断提高。未来，AIGC技术将在游戏和计算领域得到更广泛的应用，使游戏和计算系统具有更高效、更智能、更灵活的特性。同时，AIGC技术也将与人工智能技术紧密结合，在更多的领域得到广泛应用，对程序员来说影响至关重要。未来，AIGC技术将继续得到提高，同时也将与人工智能技术紧密结合，在更多的领域得到广泛应用。
尝试着在Stable Diffusion里边使用SadTalker进行数字人制作
qq_42108074的博客
01-19 1569
我使用的基础软件是Stable Diffusion，SadTalker是作为插件放进来的，需要注意的是这对自己的电脑GPU要求比较高，至少需要8G，至少我的电脑是8G显存。点击扩展，选择从网址安装，然后把git仓库https://github.com/OpenTalker/SadTalker.git放入指定的位置，然后点击安装。先下载下载并安装ffmpeg，这一步的作用是语音格式的各种转换，虚拟数字人能开口说话，需要我们上传自己的语音，如果格式不符合会自动转换。然后我解压到D:\VideoSoft目录下。
全新推出：Linly-Talker数字化人物对话系统
步子哥的博客
12-27 1097
准备好体验颠覆性的人机交互方式了吗？不用再等了！Linly-Talker正式登场，将彻底改变我们与人工智能系统的互动方式。🤖💬Linly-Talker是一款智能AI系统，它将大型语言模型（LLMs）与视觉模型相结合，创造了一种独特的对话体验。通过集成Whisper、Linly、微软语音服务和SadTalker说话头部生成系统等多种技术，Linly-Talker汇集了最佳的特点。🌍🔍。
nahdi-shelf-talker-script:Auto Shelf-Talker将自动为Nahdi营销部门进行产品促销
04-17
监督人 导演艾曼·阿尔萨加夫（Aiman Alsaggaf） 穆罕默德·阿赛德（Mohammed Alsayed） 撰写者 尤尼斯·阿尔图基（Younes Alturkey） 莎拉·阿尔斯霍卡尼（Sarah Alshawkani） 穆罕默德·阿赛德（Mohammed ...
Talker-master-java课程设计大作业
11-15
【Talker-master-java课程设计大作业】是一个基于Java语言的项目，主要涵盖了Java编程和软件设计的基本概念。这个课程设计可能旨在让学生深入了解Java的核心特性，同时通过实际操作提升其编程和系统设计能力。下面...
Talker: text-to-speech, many languages-crx插件
04-02
语言:English 读出任何页面，直接从页面内厌倦了阅读... Talker将文本转换为语音，因此您不再需要阅读。 这是一种高质量的文本语音（TTS）语音扩展，在浏览器中使用本机客户端技术运行。直接从页面内部响亮的任何页面。
打造AI虚拟数字人，Stable Diffusion+Sadtalker教程
人工智能曾小健
07-24 1255
恭喜你，你已经完成了使用Stable Diffusion和Sadtalker结合起来，实现从文本到视频的生成的教程。你可以在output文件夹中找到你生成的视频，并用任何视频播放器观看它。你也可以尝试用不同的文本描述和音频来生成不同的视频。希望你能享受这个有趣的创作过程，并发挥你的想象力和创造力。
干货分享|如何使用Stable Diffusion打造会说话的数字人？
最新发布
quanzhankaifaqua的博客
08-15 310
完整”选项不对参考图进行裁 剪，因此当角色的头部运动较大时， 可能出现脖子区域撕裂的问题。另外，选择“填充至完整”选项 会用参考图填充头部以外的区域，但 如果参考图的宽高比不是1:1，可能会出现严重的画面撕裂，如图所示。在“预处理”选项组中有5 个选项，其中“裁剪”和“裁剪 后扩展”选项会把上传的原图裁 剪成只留下角色的面部，让头部 运动看起来更加自然，如图所示。在 WebUI中单击 “SadTalker”选项卡，在 “上传图像”窗口中上传角色图片，在“上传音频或TTS”窗口中上传音频文件，如图所示。
【数字人】1、SadTalker | 使用语音驱动单张图片合成视频（CVPR2023）
呆呆的猫的博客
09-17 3723
本文主要介绍 SadTalker
Stable Diffusion实操示例
benben044的专栏
06-14 1万+
解决问题：生成的图片存在瑕疵，比如多只眼睛、多只手指等情况。通过embeddings可以将避免一些常用的不好结果。
数字人解决方案——阿里EMO音频驱动肖像生成能说话能唱歌的逼真视频
知来者逆的博客
03-04 3379
相比于Wav2Lip和DreamTalk，EMO的方法具有以下优势：首先，Wav2Lip合成的嘴部区域模糊，而EMO方法能够生成更清晰的嘴部图像。其次，DreamTalk的样式剪辑可能扭曲原始面部，限制了面部表情和头部动作的动态性，而EMO的方法能够生成更多样的头部动作和更动态的面部表情。值得注意的是，EMO的方法不使用直接信号来控制角色运动，而是直接由音频驱动，这使得在生成过程中能够更好地保持角色的一致性和流畅性。
教你用SadTalker一键整合包轻松制作专属数字人
dfBeautifulLive的博客
01-10 4644
首先我们准备图片，可以真人，动漫都可以，最好是正面头像，（测试后最好是咧嘴微笑的照片口型更自然，紧闭双唇嘴部运动效果不明显，）有些图片效果不好，可以多换些图片，有的效果很好，然后图片可以是SD生成图片，也可以你本人照片，或者网图。先说下我的显卡，大家参考下，我的显卡是6G，10秒内的音频转换数字人需要一分钟左右，我的显卡就不能选择高清了，选择高清就卡的不行。语音准备，我是在在线的文本转语音工具，这个工具还蛮不错的，不用登录什么的，可以直接使用，界面如下，full：保留全身，全身照生成视频。
sadtalker-- 本地生成数字人
Penk的博客
07-18 2224
sadtalker，可以根据图片以及语音，生成动态视频，跟现在的数字人直播电商差不多，制作成视频后加个推流到直播间即可。本章节，主要记录从无到有搭建sadtalker环境，期间也出现了多个问题，也做了相应的记录。
让照片人物开口说话，SadTalker 安装及使用（避坑指南）
热门推荐
独行猫a 的沉淀、积累、总结。天天学习，好好向上...c/c++,嵌入式 linux,Android,HarmonyOS)
10-07 1万+
西安交通大学开源了人工智能SadTaker模型，通过从音频中学习生成3D运动系数，使用全新的3D面部渲染器来生成头部运动，可以实现图片+音频就能生成高质量的视频。内含多个踩坑的解决办法，值得玩一玩。
ROS2 humble安装教程 带有公钥和数字签名
05-27
以下是包含公钥和数字签名的ROS2 Humble安装教程： 1. 安装ROS2依赖项 ``` sudo apt update && sudo apt install -y curl gnupg2 lsb-release ``` 2. 添加ROS2公钥 ``` curl -s https://raw.githubusercontent.com/ros/rosdistro/master/ros.asc | sudo apt-key add - ``` 3. 添加ROS2存储库 ``` sudo sh -c 'echo "deb http://packages.ros.org/ros2/ubuntu `lsb_release -cs` main" > /etc/apt/sources.list.d/ros2-latest.list' ``` 4. 验证ROS2数字签名 ``` sudo apt update sudo apt-key adv --fetch-keys https://raw.githubusercontent.com/ros/rosdistro/master/ros.asc ``` 5. 安装ROS2 Humble ``` sudo apt update sudo apt install -y ros-humble-desktop ``` 6. 设置ROS2环境变量 ``` source /opt/ros/humble/setup.bash ``` 7. 验证ROS2安装 打开一个新的终端，运行以下命令： ``` ros2 run demo_nodes_cpp talker ``` 再打开一个新的终端，运行以下命令： ``` ros2 run demo_nodes_cpp listener ``` 如果一切正常，您应该能够看到talker在一个终端中发布消息，并在另一个终端中看到listener接收到消息。 希望这个带有公钥和数字签名的教程能够帮助您成功安装ROS2 Humble！
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值