畅游Diffusion数字人(21)：基于Wan2.1的音频驱动数字人FantasyTalking

已于 2025-04-09 10:29:45 修改
阅读量770 收藏 8
点赞数 18
分类专栏： 数字人 文章标签： 音视频 视频生成 数字人
于 2025-04-08 20:00:38 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41895747/article/details/147076098
版权

畅游Diffusion数字人(0)：专栏文章导航

前言：AI数字人是目前视觉AIGC最有希望大规模落地的场景之一。现阶段的商业工具，如字节的OminiHuman-1(即梦大师版)、快手的可灵对口型，虽然效果不错，但是收费昂贵。而开源解决方案，如Hallo3、Sonic，效果与商业工具仍存在不小差距。FantasyTalking是一个基于Wan2.1的对口型工作，相比之前的开源方案在效果上进步显著。

目录

效果速览

原理简介

两阶段音频-视觉对齐

身份保持

运动强度调节

论文和代码

效果速览

可以去原始项目主页观看视频：

了解本专栏 订阅专栏 解锁全文 超级会员免费看
畅游Diffusion数字人(0)：专栏文章导航
沉迷单车的追风少年
11-26 788
畅游Diffusion数字人(0)：专栏文章导航
数字人实战第一天——最新数字人MuseTalk效果展示
qq_34717531的博客
06-07 3050
最新数字人MuseTalk效果展示，它是一个实时的音频驱动唇部同步模型。该模型能够根据输入的音频信号，自动调整数字人物的面部图像，使其唇形与音频内容高度同步。这样，观众就能看到数字人物口型与声音完美匹配的效果。MuseTalk 特别适用于256 x 256像素的面部区域，且支持中文、英文和日文等多种语言输入。在NVIDIA Tesla V100显卡上，MuseTalk 能够实现超过每秒30帧的实时推理速度。此外，用户还可以通过调整面部区域的中心点，进一步优化生成效果。
VASA-1：实时音频驱动的数字人说话面部视频生成技术
孙佰贵的专栏
04-26 5562
本文介绍了 VASA-1，这是一个由 Microsoft Research Asia 开发的框架，用于生成逼真的、音频驱动的说话（面部）视频。VASA-1 能够根据单一静态图像和语音音频片段生成具有视觉情感技能（Visual Affective Skills, VAS）的说话视频。该模型不仅能够产生与音频精确同步的唇部运动，还能捕捉到广泛的面部微妙表情和自然头部运动，从而增强真实感和生动感。从方法与效果上来讲，VASA-1都具有较大的突破，为虚拟人交互、虚拟人面部视频生成、AI译片等都提供了更为坚实的基础。
阿里开源半身驱动数字人EchoMimicV2，全身指日可待～
CherryXieのblog
03-26 631
EchoMimicV2 是 EchoMimic 的第二代版本，专注于音频驱动的半身人物动画生成，由蚂蚁集团团队开发，已被 CVPR 2025 接受。用户查询其研发背景和架构原理，本报告基于 2025 年 3 月 24 日的最新信息，从研究背景、技术架构和创新点等角度进行详细分析。
清华联合百度提出AudCast！高保真音频驱动人体视频生成新框架！
DataSourceAI的博客
03-30 589
尽管音频驱动视频生成技术最近取得了进展，但现有方法大多专注于驱动面部动作，导致头部和身体动态不协调。进一步而言，生成与给定音频精确唇形同步且具有细腻伴随语音手势的整体人体视频是理想的，但也具有挑战性。在这项工作中，我们提出了AudCast，这是一个采用级联扩散变压器（DiTs）范式的通用音频驱动人体视频生成框架，它基于参考图像和给定音频合成整体人体视频。1) 首先，我们提出了一种基于音频条件的整体人体DiT架构，以直接驱动任何人体的动作，并呈现出生动的手势动态。
腾讯数字人开源项目MuseTalk震撼发布！自带循环剪辑+全
longzhutengyue的博客
04-14 466
更重要的是，MuseTalk不仅能单独完成唇同步，还能与MuseV（基础视频生成）和MusePose（姿态控制）无缝结合，形成完整的数字人生成解决方案。MuseTalk的开源，不仅是技术上的突破，更是数字人生态的一次革命。更令人惊艳的是，MuseTalk还支持多语言处理，无论是中文、英语还是日语，都能精准同步。这对全球化的数字人应用来说，无疑是一个巨大的突破。
数字人解决方案——AniPortrait音频驱动的真实肖像动画合成
知来者逆的博客
05-08 2218
AniPortrait，这是一个新颖的框架，旨在生成由参考肖像图像和音频样本驱动的高质量动画。只需输入参考图像和音频剪辑，AniPortrait 框架就能够生成具有自然头部运动和平滑嘴唇运动特征的肖像视频。通过利用扩散模型强大的泛化能力，AniPortrait 框架生成的动画能够显示令人印象深刻的逼真图像质量和逼真的运动。 AniPortrait 框架的工作分为两个阶段。首先，AniPortrait 框架从音频样本中提取中间 3D 表示，并将它们投影到一系列 2D 面部标志中。接下来，该框架采用鲁棒的扩散模
AI虚拟数字人：商业蓝图与前沿应用的深度解析【文末送书】
一键难忘的博客
08-28 6413
在数字化时代，AI虚拟数字人逐渐成为了一个新兴的领域。它不仅代表着技术的前沿，也为商业世界带来了全新的机会。这篇博文将探讨AI虚拟数字人的商业模式、形象创建、视频直播技术，并通过实际案例展示其在各行各业的应用。
BiliNote：开源的AI视频笔记生成工具，让知识提取与分享更高效——跨平台自动生成结构化笔记，实现从视频到Markdown的智能转化
这里汇聚了前沿的技术分享与实用的开发技巧，带你探索从创意到企业的技术创业之路。
04-25 359
BiliNote通过开源技术与智能算法的结合，让视频内容的价值释放变得触手可及。无论是学生、研究者还是内容创作者，都能借助这一工具高效地将动态视频转化为结构化知识。随着开源生态的扩展，我们期待看到更多创新功能的涌现，真正实现“让知识流动更自由”。，将视频内容转化为结构清晰的Markdown笔记，支持截图插入、原片跳转链接，并兼容本地语音转写模型与多种大语言模型（LLM），为学习者与创作者提供了。随着知识视频化趋势的加速，B站、YouTube等平台成为学习与信息获取的重要渠道，但。
FFmpeg之三 录制音频并保存， API编解码从理论到实战
薛瑄的博客
04-27 737
在学习FFmpeg的时候，想拿demo来练习，官方虽有示例，但更像是工具演示，新手不好掌握，在网上找不到有文章，能给出完整的示例和关键点的分析说明，一步一个错误，慢慢啃过来的，本文就把重要经验和完整代码全部分享出来。
音频转base64
qq_33207223的博客
04-27 242
碰一碰发视频源码搭建全解析，支持OEM
douqutui的博客
04-26 1264
本文从原理、技术选型到源码实现，详细介绍了 “碰一碰发视频” 功能的搭建过程，分别以 Android 平台基于 NFC 和蓝牙技术为例给出了代码示例。在实际开发中，开发者可根据具体需求和场景，选择合适的技术方案，并对代码进行优化和完善。如果你在搭建过程中遇到问题，欢迎在 CSDN 评论区留言交流，也期待你分享自己的开发经验和成果！上述文章全面覆盖了碰一碰发视频功能搭建的技术要点。若你希望针对某部分技术展开更深入的讲解，或补充其他平台的实现方案，随时和我说。
视频智能分析平台EasyCVR无线监控：全流程安装指南与功能应用解析
NVR安防视频技术
04-23 836
通过合理运用平台强大的功能特性，结合科学规范的安装流程，能够打造一套稳定、智能、高效的无线监控解决方案，为各类场所的安全防护提供坚实保障。
在web应用后端接入内容审核——以腾讯云音频审核为例（Go语言示例）
TrueTechLabs 官方博客
04-27 178
腾讯云对象存储数据万象（Cloud Infinite，CI）为用户提供图片、视频、语音、文本等文件的内容安全智能审核服务，帮助用户有效识别涉黄、违法违规和广告审核，规避运营风险。本文以音频审核为例给出go语言示例代码与相应结果。
【音视频】音频编码实战
Antonio915的博客
04-27 355
从本地⽂件读取PCM数据进⾏AAC格式编码，然后将编码后的AAC数据存储到本地⽂件。示例的流程如下所示。编码器通常的冲洗⽅法：调⽤⼀次 avcodec_send_frame(NULL)(返回成功)，然后不停调⽤avcodec_receive_packet() 直到其返回 AVERROR_EOF，取出所有缓存帧，avcodec_receive_packet() 返回 AVERROR_EOF 这⼀次是没有有效数据的，仅仅获取到⼀个结束标志。
无线监控系统分类全解析：搭配视频融合平台EasyCVR开启高效监控
NVR安防视频技术
04-23 967
随着技术的发展，无线监控系统在家庭、小型企业、特定行业以及室外恶劣环境中的应用越来越广泛。
怎样给MP3音频重命名？是时候管理下电脑中的音频文件名了
最新发布
简鹿办公的博客
04-27 486
借助简鹿文件批量重命名工具的强大功能，即使是面对成百上千个 MP3 文件，也能轻松实现快速而精准的重命名工作。无论是为了更好地组织个人音乐库，还是为了满足专业用途下的分类需求，掌握正确的重命名技巧都将大大提高工作效率。通过使用专业的文件重命名工具如简鹿文件批量重命名工具，可以极大地简化这一过程。点击界面上的“添加文件”按钮，浏览您的电脑找到存放 MP3 文件的文件夹，选中所有需要重命名的音频文件后点击“打开”。在“插入内容”框内输入您想要添加的文字，例如：“简鹿办公_”。替换：用于替换文件名中的特定部分。
【AI大模型】DeepSeek + 通义万相高效制作AI视频实战详解
hxudhhgwhua的博客
04-24 1133
通过DeepSeek+通义万相的智能组合，视频制作已从专业技能变为人人可用的生产力工具。立即体验文中的代码案例，开启你的AI视频创作之旅！资源合集完整项目代码预训练模型下载商业案例库。
stable diffusion 数字人
02-15
### 使用 Stable Diffusion 创建数字人 #### 准备工作 为了创建基于图像的会说话的数字人，需先准备好所需的环境和素材。这包括安装并配置好支持Stable Diffusion运行的操作系统（如Windows），以及获取高质量的人脸图片作为基础材料[^3]。 #### 图像准备 选择用于生成数字人的源图像至关重要。建议采用尽可能接近真人外观的照片来获得更佳效果；对于风格化较强的图像，则可能影响最终输出的质量。可以考虑通过Stable Diffusion本身或其他工具调整已有照片以适应需求[^1]。 #### 安装与设置 按照官方指南完成Stable Diffusion Web UI版本的部署，在此过程中确保所有依赖项都正确安装，并能够顺利启动程序界面[^2]。 #### 音频输入 收集或录制想要赋予给数字人的语音片段，将其保存为适合处理格式（例如WAV）。这部分音频将成为驱动模型生成对应口型动画的关键因素之一[^4]。 #### 利用 SadTalker 插件合成视频 借助SadTalker这一特定功能模块，可实现将选定静态肖像同之前准备的声音文件相融合的目的。具体操作是在Web UI界面上加载目标人物头像及配套音轨后执行相应命令，从而得到动态呈现形式的结果——即所谓的“会讲话”的数字化身。 ```bash # 假设已经处于正确的项目目录下 python run.py --driven_audio ./audio.wav --source_image ./image.png --result_dir ./output/ ``` 上述脚本展示了调用SadTalker进行简单任务的方式，其中`./audio.wav`代表待处理声音路径而`./image.png`则是所选面部图案位置，最后指定输出成果存放地址为当前文件夹下的`./output/`子目录内。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

沉迷单车的追风少年

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值