SadTalker 让图片说话

已于 2024-06-19 15:38:30 修改
阅读量1k 收藏 1
点赞数
分类专栏： 深度学习 文章标签： python 数字人
于 2023-09-15 17:03:59 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42357472/article/details/132907722
版权
SadTalker是一款工具，结合图片和音频可生成2D视频。参考GitHub项目进行安装，包括从github拉取代码、从百度网盘下载模型并放置到指定文件夹。运行launcher.py启动UI界面，但注意CPU运行速度较慢，生成10秒音频的视频可能需要约20分钟。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

参考：https://github.com/OpenTalker/SadTalker
其他类似参考：https://www.d-id.com/
输入图片加音频产生2d视频

在这里插入图片描述

安装使用

1、拉取github，下载对应安装库
2、下载对应模型baidu网盘
新建checkpoints，把下载sadtalker里模型拷贝进去；gfpgan模型就放gfpgan文件里
在这里插入图片描述

3、然后运行python launcher.py 启动ui界面

cpu运行很慢，10来秒音频需要20来分钟生成
在这里插入图片描述

GitHub上的SadTalker-Video-Lip-Sync
weixin_56587572的博客
07-12 3839
本项目基于SadTalkers实现视频唇形合成的Wav2lip。
让图片说话SadTalker
崎山小鹿的专栏
02-20 1033
SadTalker：使用一张图片和一段语音来生成口型和头、面部视频. 西安交通大学开源了人工智能SadTalker模型，通过从音频中学习生成3D运动系数，使用全新的3D面部渲染器来生成头部运动，可以实现图片+音频就能生成高质量的视频。
如何在windows上本地部署SadTalker，实现AI数字人
qq_43335960的博客
06-20 7148
解压：ffmpeg-6.0-full_build-shared.zip 到根目录（例如：c:\ffmpeg-6.0-full_build-shared）解压：ffmpeg-6.0-full_build-shared.zip 到根目录（例如：c:\ffmpeg-6.0-full_build-shared）下载：ffmpeg-6.0-full_build-shared.zip。下载：ffmpeg-6.0-full_build-shared.zip。安装依赖并启动：python Launcher.py。
SadTalker的安装及使用方法：
最新发布
Wxin1996的博客
03-11 697
数字人
悲情对话者：让你的虚拟角色生动开口——详细使用教程
weixin_40726747的博客
07-31 1270
在虚拟世界中赋予角色生命和情感，一直是许多开发者和爱好者的梦想。《SadTalker》是一个让这一梦想成真的强大工具。本文将为你详细介绍如何使用《SadTalker》，让你的虚拟角色开口说话，并充满情感。准备好了吗？让我们开始吧！SadTalker是一个基于深度学习的对话生成工具，它通过分析文本输入，生成包含情感的语音输出。无论你是游戏开发者、动画制作者，还是AI爱好者，SadTalker都能帮助你实现更加生动的虚拟角色对话。你可以自定义情感标签，让生成的对话更加贴合角色设定。
SadTalker数字人安装教程（win平台）
fouryears_23417的博客
07-19 2223
SadTalker数字人的安装介绍
AI绘画SD-WebUI-SadTalker：让照片说话，数字人使用方法
A1353192296的博客
04-30 1783
与新兴的AI框架EMO相比，SadTalker在某些方面显得稍逊一筹。当我学到一定基础，有自己的理解能力的时候，会去阅读一些前辈整理的书籍或者手写的笔记资料，这些笔记详细记载了他们对一些技术点的理解，这些理解是比较独到，可以学到不一样的思路。AIGC所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照下面的知识点去找对应的学习资源，保证自己学得较为全面。观看全面零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。
SadTalker：Stylized Audio-Driven Single Image Talking Face Animation（CVPR2023）
04-06 2766
用语音音频制作静态人像图像是一项具有挑战性的任务，在数字人类创造、视频会议等领域有许多重要的应用。以往的研究主要集中在唇动的生成[2,28,29,48]，因为唇动与言语有很强的联系。最近的工作还旨在生成一个包含其他相关动作的逼真的谈话面部视频，例如，头部姿势。他们的方法主要是通过地标[49]和潜在翘曲引入二维运动场[37,38]。但是生成的视频质量仍然不自然，受到偏好pose[16,48]、月模糊[28]、身份修改[37,38]、扭曲脸[37,38,46]的限制。
AI应用带你玩系列之【SadTalker】
热门推荐
百锦再的博客
06-24 7万+
前段时间我刷微信视频，我无意间点开了一个，画面缓缓展开，是一幅精致的水墨画，画中人物皆是古代装束，衣袂飘飘，仿佛能闻到墨香。然而，这宁静的画面突然被打破了，画中的人物开始动了起来，他们的嘴型和面部表情生动地配合着一首现代流行歌曲《一人我饮酒醉》。我惊呆了，这究竟是怎样的魔法，能让古画中的人物如此生动地“嗨歌”？好奇心驱使下，我深入探索，发现了一个名为“让照片说话”的算力应用。这不仅仅是一个简单的软件，它背后蕴含的是最新的AI技术——深度学习和计算机视觉的结合。
EchoMimic数字人让图片说话本地运行整合包
风云无忌的博客
07-14 2364
EchoMimic是阿里巴巴达摩院推出的一个AI驱动的口型同步技术项目。这项技术能够通过给定的音频和一张或多张人物的面部照片，生成一个看起来像是在说话的视频，其中的人物口型动作与音频中的语音完美匹配。这种技术在娱乐、教育、虚拟现实、在线会议等领域有广泛的应用前景，可以用于创建更加真实和互动的视频内容。
Mac M2环境下安装和调试SadTalker
轩哥的博客
09-14 1309
SadTalker 是一款开源的人工智能工具，能够将静态人像图片转化为逼真的说话视频。用户只需上传一张正面肖像照片和相应的音频文件，SadTalker 便能通过分析音频来同步照片中人物的嘴唇动作和面部表情，创造出栩栩如生的视频效果。这一技术适用于个性化信息传递、教育内容制作等多样化场景，支持商业和个人项目使用。SadTalker 的开源特性意味着用户可以自由下载、修改和再分发代码，同时，其高效的同步算法和自然动画效果使其在数字人技术领域中独树一帜。
SadTalker: Learning Realistic 3D Motion Coefficients for Stylized Audio-Driven Single Image Talking
weixin_41967328的博客
03-14 5142
我们提出了SadTalker，它从音频中生成3DMM的3D运动系数(头部姿势，表情)，并隐式调制了一种新颖的3D感知面部渲染，用于说话的头部生成。为了学习真实的运动系数，我们明确地分别模拟音频和不同类型的运动系数之间的联系。准确地说，我们提出ExpNet通过提取系数和3d渲染的面部来从音频中学习准确的面部表情。对于头部姿势，我们通过一个有条件的VAE来设计PoseVAE来合成不同风格的头部运动。最后，将生成的三维运动系数映射到所提出的人脸渲染的无监督三维关键点空间，并合成最终的视频。
【虚拟数字人】SadTalker简易部署教程
AI知识搬运工
08-01 3349
视频教程在这里：sadtalker数字人创建简易教程项目基于SadTalkers实现视频唇形合成的Wav2lip。通过以视频文件方式进行语音驱动生成唇形，设置面部区域可配置的增强方式进行合成唇形（人脸）区域画面增强，提高生成唇形的清晰度。使用DAIN 插帧的DL算法对生成视频进行补帧，补充帧间合成唇形的动作过渡，使合成的唇形更为流畅、真实以及自然。
让照片人物开口说话，SadTalker 安装及使用（避坑指南）
独行猫a 的沉淀、积累、总结。天天学习，好好向上...c/c++,嵌入式 linux,Android,HarmonyOS)
10-07 2万+
西安交通大学开源了人工智能SadTaker模型，通过从音频中学习生成3D运动系数，使用全新的3D面部渲染器来生成头部运动，可以实现图片+音频就能生成高质量的视频。内含多个踩坑的解决办法，值得玩一玩。
AI数字人：AI数字人制作初探及相关开源简介
GIS摆渡人
06-30 7605
数字人这名字听着稀奇又别扭，其实它最初的原型大家都听过——NPC。玩过游戏的应该都知道，也就是游戏内玩家操纵的游戏角色，可以和玩家进行交互的角色。广义上讲可以说是计算机模拟出的具有人的形态的虚拟人都叫做数字人，在平常的观感上，数字人是整合了人物形象模拟、人物声音克隆、自然语言处理、知识图谱解析等众多世界领先的人工智能技术的可视化数字虚拟人。他通过对人物形象的复制模拟，人物声音的克隆及语音合成，可随时随地与真人进行准确交互性对话。
Python的环境安装
lijf2001的博客
08-03 683
安装方法 非常推荐使用Anaconda安装，一次安装，全部搞定。 这里基本上集成了大部分常用的库，非常方便。 推荐安装python3。 安装包下载 官网 直接去其官网，找到个人版，下载自己电脑系统对应的版本即可。 下载链接 国内镜像网站 官网的下载速度非常慢，只有几十k。 国内有不少大学都提供了其的镜像网站， 推荐北京外国语大学。 通过图片就可以看到，这个速度简直是天壤之别。 安装 安装Anaconda 对于个人用户来说，建议选择Just me。 选择安装目录，注意需要自己先建文件夹。 对于第一个，建
（三）SadTalker 让stable diffusion 人物可以说话
西风瘦马
05-01 5935
可以根据一张图片、一段音频，合成面部说这段语音的视频。图片需要真人或者接近真人。目前项目已经支持,可以SD出图后，结合一段音频合成面部说话的视频（抖音常见的数字人）
教你用SadTalker一键整合包轻松制作专属数字人
dfBeautifulLive的博客
01-10 6247
首先我们准备图片，可以真人，动漫都可以，最好是正面头像，（测试后最好是咧嘴微笑的照片口型更自然，紧闭双唇嘴部运动效果不明显，）有些图片效果不好，可以多换些图片，有的效果很好，然后图片可以是SD生成图片，也可以你本人照片，或者网图。先说下我的显卡，大家参考下，我的显卡是6G，10秒内的音频转换数字人需要一分钟左右，我的显卡就不能选择高清了，选择高清就卡的不行。语音准备，我是在在线的文本转语音工具，这个工具还蛮不错的，不用登录什么的，可以直接使用，界面如下，full：保留全身，全身照生成视频。
sadtalker api
02-12
### SADTalker API 文档与使用 SADTalker 是一种用于创建说话头像的工具，API 提供了一系列接口来简化这一过程[^1]。 #### 获取访问令牌 为了调用 SADTalker 的 API 接口，开发者首先需要获取访问令牌。这通常通过向认证服务器发送 POST 请求完成： ```bash curl -X POST https://api.sadtalker.com/auth/token \ -H "Content-Type: application/json" \ -d '{"client_id": "YOUR_CLIENT_ID", "client_secret": "YOUR_CLIENT_SECRET"}' ``` 成功响应会返回一个 JSON 对象，其中包含 `access_token` 字段[^2]。 #### 创建新项目 一旦获得了有效的访问令牌，就可以利用此令牌发起请求以创建新的项目实例： ```python import requests url = 'https://api.sadtalker.com/projects/' headers = { 'Authorization': f'Bearer YOUR_ACCESS_TOKEN', } data = {'name': 'My First Project'} response = requests.post(url, headers=headers, json=data) if response.status_code == 201: project_info = response.json() print(f"Project created successfully! ID is {project_info['id']}") else: print('Failed to create a new project.') ``` 上述代码展示了如何使用 Python 发送 HTTP POST 请求到 `/projects/` 路径下建立一个新的项目，并处理相应的响应结果[^3]。 #### 查询现有资源 对于已经存在的资源（比如之前创建过的项目），可以通过 GET 方法查询其详情： ```http GET /projects/{PROJECT_ID}/ HTTP/1.1 Host: api.sadtalker.com Authorization: Bearer YOUR_ACCESS_TOKEN ``` 这里的 `{PROJECT_ID}` 需要替换为实际项目的唯一标识符。如果一切正常，则应收到关于该项目的具体信息作为回应数据的一部分[^4]。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

loong_XL

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值