基于SadTalker的AI主播，Stable Diffusion也可用

已于 2023-06-16 10:15:25 修改
阅读量4.2k 收藏 8
点赞数 2
分类专栏： Python AI数字人 文章标签： 人工智能 stable diffusion 深度学习 AI主播
于 2023-03-20 15:58:43 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_20288327/article/details/129668067
版权

基于之前的AI主播的的学习基础 基于Wav2Lip的AI主播 和 基于Wav2Lip+GFPGAN的高清版AI主播，这次尝试一下VideoRetalking生成效果。

总体来说，面部处理效果要好于Wav2Lip，而且速度相对于Wav2Lip+GFPGAN也提升很多，也支持自由旋转角度，但是如果不修改源码的情况下，视频的部分截取稍微有点问题。

这个训练图片还好，如果是做视频的话还是比较吃GPU资源的 16G显存是个起步配置。

文章目录

了解本专栏 订阅专栏 解锁全文 超级会员免费看
Mr数据杨
关注
  • 2
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 2
    评论
专栏目录
订阅专栏
基于DINet的虚拟数字人
Mr数据杨
04-12 7499
这个可以是一个简单的用自己脸型进行训练的虚拟数字人项目，机器需求配置有点高需要24G显存，如果没有的话看看就行了，跑不起来，当然效果和之前介绍的wav2lip相似，生成速度稍微会快一些，根据自己实际情况进行取舍。
Python网站导航项目-3.导航数据后端管理应用开发
热门推荐
Mr数据杨
02-14 1万+
每每用到别人的导航网站会充斥的各种的广告，以及很多无用的内容，用起来真的很烦人。由于本人开发的项目比较多并且服务器资源有限，因此会有先择性的开发部分系统进行展示，如果网页打不开私信联系我进行项目启动。
自己本机Video retalking制作数字人
qq_42108074的博客
01-22 1679
首先需要注意的是，这个要求你的显存和内存都比较大。我的电脑内存是64G，显卡是8G，操作系统是Windows 11，勉强能够运行出来，但是效果不是很好。效果如下，无法上传视频，只能通过图片展示出来：需要先安装python，我这里安装的是python 3.10.9，在命令行里边输入，可以看到自己安装的python版本。你需要自己准备mp4原始视频和wav原始语音，而我这里，是原始视频，是我想要给原始视频添加的声音。
Stable-Diffusion WEBUI 简体中文语言包（2023.05.30更新）
05-30
AI绘图，Stable-Diffusion WEBUI，本地化（简体中文）语言文件。 原始文件来自翻译插件，根据自己实际使用情况，增加和修改了一些翻译。 配合【双语插件】看上去要自然一点，内容还在继续完善中。 本次增加了一些翻译内容，特别是插件。 同时继续合并了其它翻译插件的内容。 最近文字提示修改得有点多啊。 请放入“你的SDWebUI项目位置/localizations/”中。 中文翻译部分删掉了不少括起来的英文原文，所以别直接选它用。 请配合【Bilingual Localization】插件使用，双语同时显示，效果最好。
开源项目推荐：OpenTalker Video Retalking - 实时视频对话的新纪元
最新发布
gitblog_00009的博客
03-21 342
开源项目推荐：OpenTalker Video Retalking - 实时视频对话的新纪元 项目地址:https://gitcode.com/OpenTalker/video-retalking 项目简介 OpenTalker Video Retalking 是一个创新的开源项目，它专注于提供实时、交互式的视频对话体验。该项目的核心在于实现了一种高效、低延迟的视频通信框架，让开发者能够轻松构建出...
VideoReTalking：用于野外会说话的头部视频编辑的基于音频的唇形同步
04-27 5261
中，我们简要概述了𝐿大号斜体L-Net，包含两个子网络，下标𝐿𝑎{L}_{a}italic_L start_POSTSUBSCRIPT italic_a end_POSTSUBSCRIPT和下标𝐿𝑣{L}_{v}italic_L start_POSTSUBSCRIPT italic_v end_POSTSUBSCRIPT，分别用于音频和视频处理。，我们采用分而治之的策略，首先中和面部表情，然后使用修改后的帧作为唇形生成的姿势参考，考虑到所有参考面现在都具有相同的规范表情，这样更准确。中举例说明这种现象。
Stable Diffusion WebUI -模型&依赖-002
12-29
AI｜ Stable Diffusion WebUI |模型&依赖 适合没有梯子的兄弟姐妹｜AI｜Stable Diffusion WebUI。 只能上传1000M以下的资源，所以压缩为了多个文件； dreamshaper：模型 huggingface：依赖
AI绘图 Stable diffusion checkpoint模型 ckpt模型 vae模型 Counterfeit-V2.5
04-25
超级漂亮的二次元模型 擅长二次元女性创作 适合对AI绘图感兴趣的小白 下载stable-diffusion-webui或者novelai-webui后 把ckpt模型放在models\Stable-diffusion\下 把vae模型放在models\VAE\下 把embedding模型放在\embeddings\下 把lora模型放在 \extensions\sd-webui-additional-networks\models\lora\下
2D数字人，唇形驱动，DINet项目的模型训练和推理
newbi_cainiao的博客
07-07 1979
DINet + OpenFace 实现唇形驱动，比 wav2lip 效果好而且不用修改神经网络，不用额外训练同步判别器
基于SadTalker的AI数字人视频（以AutoDL算力云平台部署为例）
Little_Carter的博客
06-24 2592
SadTalker是一个开源的虚拟数字人制作工具，可以用一张图片生成数字人口播视频。SadTalker生成3DMM的三维（头部姿势、表情）系数，利用三维面部渲染器进行视频生成。SadTalker还提供了一些新的模式，例如静态模式、参考模式、调整大小模式等，以便更好地进行自定义应用程序。
让照片人物开口说话，SadTalker 安装及使用（避坑指南）
独行猫a 的沉淀、积累、总结。天天学习，好好向上...c/c++,嵌入式 linux,Android,HarmonyOS)
10-07 1万+
西安交通大学开源了人工智能SadTaker模型，通过从音频中学习生成3D运动系数，使用全新的3D面部渲染器来生成头部运动，可以实现图片+音频就能生成高质量的视频。内含多个踩坑的解决办法，值得玩一玩。
Stable Diffusion AI绘图教学-视频教程网盘链接提取码下载 .txt
08-11
这门课程将教授学生使用Stable Diffusion AI绘图工具进行数据可视化和图形设计。学生将学习基本的绘图原理、数据分析技巧，以及如何使用Stable Diffusion AI创建高质量的图表和可视化作品。通过实践项目和案例研究，学生将提升绘图技能，并学会有效传达数据和信息。 视频大小：1.7G
AI-绘画的工具准备：Stable-Diffusion使用教程.pdf
06-03
AI-绘画的工具准备：Stable-Diffusion使用教程
音视频开发之旅（72）- AI数字人-照片说话之SadTalker
yabin的专栏
03-02 767
最后，将生成的3DMM系数映射到面部渲染器的三维关键点空间，以生成最终的视频。seamlessClone 驱动口型动的是256*256的人头区域,最终想输出full的视频,需要把上面的头部视频加上mmmmmmmmmmmmmmmmbn 原始图片根据mask和location进行合并成新的视频，这个可以优化，通过线程池进行加速，耗时可以从40s减少到20s。AI数字人目前做的最好的无疑是heygen，但是费用也是很贵，也有一些其他的商业应用，比如：微软小冰、腾讯智影、万兴播爆和硅基智能等。
【数字人】1、SadTalker | 使用语音驱动单张图片合成视频（CVPR2023）
呆呆的猫的博客
09-17 2771
本文主要介绍 SadTalker
数字人VideoRetalking项目总结｜文本（语音）驱动的音唇同步问题
BeGeek的博客
12-10 2060
数字人项目
Stable Diffusion 使用 SadTalker 生成图片数字人
Mr数据杨
07-06 2606
Heygen和D-ID等照片转视频的工具，都需要在线付费使用。本次介绍一个SadTalker数字人。SadTalker有多种使用方式，包括完整安装程序和stable diffusion插件模式。安装程序操作较繁琐，因此推荐stable diffusion插件模式。
【DDRNet】DDRNet项目使用单GPU、自己的数据集训练、得到测试图像
weixin_44725109的博客
08-11 3700
使用DDRNet进行单GPU的训练测试自己的数据集，并得到测试图像
Stable Diffusion 用插件管理NNN个模型
Mr数据杨
07-05 1842
Checkpoint 是 Stable Diffusion 中最重要的模型，也被视为主模型，几乎所有操作都需要依赖它进行。所有的主模型都基于 Stable Diffusion 模型进行训练，因此有时会被称为 Stable Diffusion 模型。LoRA 和 LyCORIS：这两种模型是微调模型，通常用于控制画风、生成的角色以及角色的姿势等。：这是一种文本编码器模型，用于改变文字向量，可以将其理解为一组 Prompt。：Hypernetworks 模型用于调整模型神经网络权重，进行风格的微调。
AI绘画Stable Diffusion
05-09
AI绘画Stable Diffusion是一种基于稳定扩散算法的人工智能绘画技术。这种技术利用计算机模拟物理过程的方法，在图像上应用扩散方程来实现绘画效果。这种方法可以在保持原始图像的基础上，通过扩散过程来消除噪声，平滑图像，并增强细节，从而达到更加真实和自然的绘画效果。Stable Diffusion技术已经被广泛应用于数字图像处理、计算机视觉和机器学习领域，为人工智能绘画带来了新的发展机遇。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Mr数据杨

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值