基于SadTalker的AI主播，Stable Diffusion也可用

已于 2023-06-16 10:15:25 修改
阅读量4.5k 收藏 8
点赞数 2
分类专栏： Python AI数字人 文章标签： 人工智能 stable diffusion 深度学习 AI主播
于 2023-03-20 15:58:43 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_20288327/article/details/129668067
版权
这篇博客介绍了如何使用SadTalker和Stable Diffusion进行AI主播的视频生成。相比于Wav2Lip，SadTalker在面部处理和速度上有优势，但可能需要调整源码以解决视频截取问题。作者详细阐述了从创建虚拟环境、安装依赖到模型预测对口型的步骤，并提到了模型对GPU资源的需求。同时，分享了数据准备、参数设置以及有趣的旋转操作等实用技巧。
摘要由CSDN通过智能技术生成

基于之前的AI主播的的学习基础 基于Wav2Lip的AI主播 和 基于Wav2Lip+GFPGAN的高清版AI主播，这次尝试一下VideoRetalking生成效果。

总体来说，面部处理效果要好于Wav2Lip，而且速度相对于Wav2Lip+GFPGAN也提升很多，也支持自由旋转角度，但是如果不修改源码的情况下，视频的部分截取稍微有点问题。

这个训练图片还好，如果是做视频的话还是比较吃GPU资源的 16G显存是个起步配置。

文章目录

准备工作

从github上下载源码，下载完毕之后下载模型 SadTalker v0.0.1 Release Note。

模型分这么多种类，如果使用哪个模型将该文件夹下的内容复制到 checkpoints 中。

了解本专栏 订阅专栏 解锁全文 超级会员免费看
Mr数据杨
关注
专栏目录
订阅专栏
基于 Stable Diffusion免费快速无代码生成自己AI虚拟主播，并根据内容实现多语言播报
iCloudEnd的博客
03-09 1396
如何免费快速无代码生成自己AI虚拟主播？
基于DINet的虚拟数字人
Mr数据杨
04-12 8326
这个可以是一个简单的用自己脸型进行训练的虚拟数字人项目，机器需求配置有点高需要24G显存，如果没有的话看看就行了，跑不起来，当然效果和之前介绍的wav2lip相似，生成速度稍微会快一些，根据自己实际情况进行取舍。
自己本机Video retalking制作数字人
qq_42108074的博客
01-22 2332
首先需要注意的是，这个要求你的显存和内存都比较大。我的电脑内存是64G，显卡是8G，操作系统是Windows 11，勉强能够运行出来，但是效果不是很好。效果如下，无法上传视频，只能通过图片展示出来：需要先安装python，我这里安装的是python 3.10.9，在命令行里边输入，可以看到自己安装的python版本。你需要自己准备mp4原始视频和wav原始语音，而我这里，是原始视频，是我想要给原始视频添加的声音。
基于SadTalker的AI数字人视频（以AutoDL算力云平台部署为例）
Little_Carter的博客
06-24 3202
SadTalker是一个开源的虚拟数字人制作工具，可以用一张图片生成数字人口播视频。SadTalker生成3DMM的三维（头部姿势、表情）系数，利用三维面部渲染器进行视频生成。SadTalker还提供了一些新的模式，例如静态模式、参考模式、调整大小模式等，以便更好地进行自定义应用程序。
南洋才女,德艺双馨,孙燕姿本尊回应AI孙燕姿(基于Sadtalker/Python3.10)
刘悦的技术博客
06-07 2269
孙燕姿果然不愧是孙燕姿，不愧为南洋理工大学的高材生，近日她在个人官方媒体博客上写了一篇英文版的长文，正式回应现在满城风雨的“AI孙燕姿”现象，流行天后展示了超人一等的智识水平，行文优美，绵恒隽永，对AIGC艺术表现得极其克制，又相当宽容，充满了语言上的古典之美，表现出了“任彼如泰山压顶，我只当清风拂面”的博大胸怀。 本次我们利用edge-tts和Sadtalker库让AI孙燕姿朗诵本尊的博文，让流行天后念给你听。
基于Python实现的人工智能主播
06-19
- 支持绘画 stable-diffusion-webui 输出 OBS 直播间 - 支持绘画图片鉴黄 public-NSFW-y-distinguish - 支持搜索和搜图服务 duckduckgo（需要魔法上网） - 支持搜图服务 baidu 搜图（不需要魔法上网） - 支持 AI ...
AI人工智能主播：情感与技术的完美融合：AI人工智能主播带来全新视听体验
04-09
支持绘画 stable-diffusion-webui 输出 OBS 直播间 支持绘画图片鉴黄 public-NSFW-y-distinguish 支持搜索和搜图服务 duckduckgo（需要魔法上网） 支持搜图服务 baidu 搜图（不需要魔法上网） 支持 AI 回复聊天框...
AI吟美-人工智能主播
最新发布
07-30
支持绘画 stable-diffusion-webui 输出 OBS 直播间 支持绘画图片鉴黄 public-NSFW-y-distinguish 支持搜索和搜图服务 duckduckgo（需要魔法上网） 支持搜图服务 baidu 搜图（不需要魔法上网） 支持 AI 回复聊天框...
本地运行 ComfyUI 中运行稳Stable Diffusion 3 ：下载模型和工作流程
iCloudEnd的博客
06-13 288
经过漫长的等待，甚至对稳定扩散的第三次迭代是否会发布的怀疑，模型的权重现在已经可用！
基于音频的说话视频同步工具:video-retalking
03-05
主要语言：Python 项目分类：[视频图像] [工具] [AI] 项目标签：[AI生成] [AI音频] [视频处理] [媒体工具] [自然语言处理] 推荐理由：一个基于音频的说话头视频同步编辑工具。它允许用户对视频进行编辑，以使视频的说话头与音频同步。这对于创建内容的人来说是一个有用的工具，尤其是在视频制作和编辑方面。video-retalking的开放源代码性质使其成为一个有潜力的多媒体工具。
手把手教你在Ubuntu22上安装VideoRetalking
BBM的博客
01-04 2156
VideoReTalking是一种新系统，可以根据输入音频编辑真实世界的谈话头部视频的面孔，即使具有不同的情感，也能生成高质量和口型同步的输出视频。
让照片人物开口说话，SadTalker 安装及使用（避坑指南）
热门推荐
独行猫a 的沉淀、积累、总结。天天学习，好好向上...c/c++,嵌入式 linux,Android,HarmonyOS)
10-07 1万+
西安交通大学开源了人工智能SadTaker模型，通过从音频中学习生成3D运动系数，使用全新的3D面部渲染器来生成头部运动，可以实现图片+音频就能生成高质量的视频。内含多个踩坑的解决办法，值得玩一玩。
手把手教你搭建VideoReTalking的AI数字人项目
qq_40750573的博客
08-18 6999
这里参考这些参数可以进行对自己项目进行调整。 推理有两种方式，一个是命令行，一个是使用web方法。 ```python //这是命令行的方式进行启动 python inference.py --face examples/face/1.mp4 --audio examples/audio/1.wav --outfile results/1_3.mp4 ```
【数字人】1、SadTalker | 使用语音驱动单张图片合成视频（CVPR2023）
呆呆的猫的博客
09-17 3830
本文主要介绍 SadTalker
SadTalker项目上手教程
mryang125的博客
04-10 9652
最近发现一个很有趣的GitHub项目，它能够将一张图片跟一段音频合成一段视频，看起来毫无违和感，如果不仔细看，甚至很难辨别真假，预计未来某一天，一大波网红即将失业。虽然这个项目目前的主要研究方向还是基于cuda的脸部训练，生成动态的视频，但如果能够接入语音服务，利用ChatGPT实时生成对话prompt，配合这个项目实时渲染动态视频，那么一个灵动的对话机器人就产生了。想想这两个月ai正在以可怕的速度进化，未来生命以数字形式留存，机械飞升不再是科幻小说才有的场景。
最新嘴型融合模型SadTalker
04-01 3420
环境windows 10 64bitSadTalkertorch 1.12.1+cu113安装配置创建一个全新的 python 虚拟环境condacreate-nsadtalkerpython=3.8 condaactivatesadtalker然后，拉取源代码，并且安装对应的依赖gitclonehttps://github.com/Winfredy/SadTalker.git c...
docker gpu 详细部署 video-retalking（跟着步骤打指令就完事了）
lbuskeep的专栏
12-14 677
video-retalking 图像合成
一文了解DINet模型结构和运行原理
AI印象录
11-10 1017
实际推理过程中，一般是输入一段视频+驱动音频，视频拆帧后为一系列图片，驱动音频经过上面的处理后和视频帧的时序对齐，窗口大小为5帧，窗口每次向前前进一帧，首先计算窗口内中间帧的脸部切取数据作为DINet的一个输入，然后计算窗口内5帧的音频数据作为DINet的另一个输入，最后一个输入5张ref脸部切取数据并不需要和驱动语音的5帧数据时序对齐，而是随机在整个视频中选择了5帧。这里补充说明下OpenFace工具，它可以将一段视频逐帧识别脸部关键点坐标68个并输出为csv文件，文件中的每一行为一帧的数据。
SadTalker（CVPR2023）-音频驱动视频生成
持续关注并分享目标检测、数据生成、视频驱动、跨模态、分割、关键点等领域前沿技术
03-19 2890
SadTalker CVPR2023，作者利用3DMM运动系数作为中间表征，学习其与视频之间关系。
基于Stable Diffusion模型从零搭建AI绘画网站的实践指南
* Stable Diffusion 模型：Stable Diffusion 模型是当前最流行的AI绘画算法，能够生成高质量的图像。 * Python 编程语言：Python 是一种广泛应用于AI、机器学习和数据科学等领域的编程语言。 * Git 版本控制系统：...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Mr数据杨

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值