畅游Diffusion数字人(23)：字节最新表情+动作模仿视频生成DreamActor-M1

最新推荐文章于 2025-05-03 09:07:35 发布
最新推荐文章于 2025-05-03 09:07:35 发布
阅读量222 收藏 2
点赞数 2
分类专栏： 数字人 文章标签： 人工智能 数字人
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41895747/article/details/147088036
版权

畅游Diffusion数字人(0)：专栏文章导航

前言：之前有很多动作模仿或者表情模仿的工作，但是如果要在实际使用中进行电影级的复刻工作，仅仅表情或动作模仿还不够，需要表情和动作一起模仿。最近字节跳动提出了一个表情+动作模仿视频生成DreamActor-M1。

目录

贡献概述

核心动机

方法详解

隐式面部表示

3D 头部球体：

3D身体骨架控制：

训练阶段

数据和训练

贡献概述

作者自己总结的几点贡献：

• 我们提出了一个基于整体 DiT 的框架和用于支持灵活多尺度合成的人体图像动画的渐进式训练策略。

• 我们设计了混合控

了解本专栏 订阅专栏 解锁全文 超级会员免费看
畅游Diffusion数字人(0)：专栏文章导航
沉迷单车的追风少年
11-26 790
畅游Diffusion数字人(0)：专栏文章导航
字节跳动推出新项目：DreamActor-M1 实现了 Runway Act 功能，改变未来视频创作的游戏规则
猫头虎技术团队：授渔优于赠鱼，兴趣引领智慧，探索之乐尤显珍贵。商务合作+：Libin9iOak ，万粉变现+：CSDNWF，猫头虎承诺每年免费为100名C站创作者做账号流量诊断服务！全网搜：猫头虎技术团队，点击文章底部名片或直接私信我一切皆可谈，快找虎哥！
04-04 1万+
字节跳动推出新项目：DreamActor-M1 实现了 Runway Act 功能，改变未来视频创作的游戏规则 🚀 在现代视频制作和动画行业，创新技术层出不穷，但有一种新兴技术正在悄然改变这一切——字节跳动最新推出的DreamActor-M1项目。这个革命性工具不仅简化了创作流程，还赋予视频制作者前所未有，在多个技术领域如云原生、前端、后端、运维和AI都有超多内容更新。DreamActor-M1是一种新型的人体动画生成框架，它利用混合指导技术，解决了以往技术中的精细控制多尺度适配和长期时间一致性问题。
【粉丝福利社】AI虚拟数字人：商业模式+形象创建+视频直播+案例应用（文末送书-进行中）
热门推荐
时光隧道
08-03 5万+
近年来，人工智能技术的迅猛发展推动了虚拟数字人的广泛应用。作为一种新兴的数字化形象，AI虚拟数字人不仅可以在娱乐、教育、营销等多个领域中发挥重要作用，还为企业开辟了全新的商业模式。本文将深入探讨AI虚拟数字人的各个方面，包括其商业模式、形象创建、视频直播以及实际案例应用。我们将首先分析虚拟数字人在不同产业中的商业潜力，接着介绍如何构建具有吸引力的虚拟形象，并探讨视频直播技术如何与虚拟数字人相结合，创造互动性和沉浸感。最后，通过具体案例，我们将展示虚拟数字人在实际应用中的成功经验和启示。
VASA-1：实时音频驱动的数字人说话面部视频生成技术
孙佰贵的专栏
04-26 5567
本文介绍了 VASA-1，这是一个由 Microsoft Research Asia 开发的框架，用于生成逼真的、音频驱动的说话（面部）视频。VASA-1 能够根据单一静态图像和语音音频片段生成具有视觉情感技能（Visual Affective Skills, VAS）的说话视频。该模型不仅能够产生与音频精确同步的唇部运动，还能捕捉到广泛的面部微妙表情和自然头部运动，从而增强真实感和生动感。从方法与效果上来讲，VASA-1都具有较大的突破，为虚拟人交互、虚拟人面部视频生成、AI译片等都提供了更为坚实的基础。
Diffusion Models视频生成-博客汇总
沉迷单车的追风少年
10-28 4554
Diffusion Models视频生成-博客汇总
Diffusion Transformer(DiT)——将扩散过程中的U-Net换成ViT：近频繁用于视频生成与机器人动作预测(含清华PAD详解)
结构之法 算法之道
12-29 9162
本文最开始属于此文《视频生成Sora的全面解析：从AI绘画、ViT到ViViT、TECO、DiT、VDT、NaViT等》但考虑到DiT除了广泛应用于视频生成领域中，在机器人动作预测也被运用的越来越多，加之DiT确实是一个比较大的创新，影响力大，故独立成本文在ViT之前，图像领域基本是CNN的天下，包括扩散过程中的噪声估计器所用的U-net也是卷积架构，但随着ViT的横空出世，人们自然而然开始考虑这个噪声估计器可否用Transformer架构来代替2022年12月，William Peebles(
【数字人】11、DERAM-TALK | 使用扩散模型实现 audio+单张图的带表情驱动（字节跳动）
呆呆的猫的博客
01-23 1891
本文主要介绍字节跳动的论文 DREAM-TALK
阿里发布 EchoMimicV2 ：从数字脸扩展到数字人 可以通过图片+音频生成半身动画视频
11-26 2249
EchoMimicV2 是由阿里蚂蚁集团推出的开源数字人项目，旨在生成高质量的数字人半身动画视频。：EchoMimicV2 能够使用音频剪辑驱动人物的面部表情和身体动作，实现音频与动画的同步。：项目从仅生成头部动画扩展到生成包括上半身的动画。：EchoMimicV2 减少了动画生成过程中所需的复杂条件，让动画制作更为简便。：基于手部姿势序列与音频的结合，生成自然且同步的手势和面部表情。：支持中文和英文驱动，根据语言内容生成相应的动画。：包括姿势采样和音频扩散，增强细节表现力并减少条件冗余。
人工智能3D内容生成系列—Zero123++: a Single Image to Consistent Multi-view Diffusion Base Model
u013889591的专栏
07-28 2849
我们报告了Zero123++，这是一个图像条件扩散模型，用于从单个输入视图生成3D一致的多视图图像。为了充分利用预训练的2D生成先验，我们开发了各种条件和训练方案，以最小化从现成的图像扩散模型（如StableDiffusion）微调所需的工作量。Zero123++在从单个图像生成高质量、一致的多视图图像方面表现出色，克服了常见的问题，如纹理退化和几何错位。此外，我们展示了在Zero123++上训练ControlNet的可行性，以增强对生成过程的控制。
三维生成-基于NeRF+Diffusion实现的Text-to-3D和Image-to-3D生成-附项目源码+流程教程-优质项目
05-17
这个“三维生成-基于NeRF+Diffusion实现的Text-to-3D和Image-to-3D生成”项目聚焦于利用自然语言和图像数据生成高质量的三维模型。下面将详细介绍NeRF、Diffusion以及Text-to-3D和Image-to-3D生成这两个关键概念，并...
畅游Diffusion数字人(21)：基于Wan2.1的音频驱动数字人FantasyTalking
沉迷单车的追风少年
04-08 785
AI数字人是目前视觉AIGC最有希望大规模落地的场景之一。现阶段的商业工具，如字节的OminiHuman-1(即梦大师版)、快手的可灵对口型，虽然效果不错，但是收费昂贵。而开源解决方案，如Hallo3、Sonic，效果与商业工具仍存在不小差距。FantasyTalking是一个基于Wan2.1的对口型工作，相比之前的开源方案在效果上进步显著。
自然语言处理实战：用CRF打造高精度命名实体识别系统
最新发布
Loving_enjoy的博客
05-03 642
无论是想快速搭建一个可用的NER系统，还是希望深入理解概率图模型的精髓，CRF都是值得放入工具箱的利器。'prev_is_b-geo': prev_tag == 'B-GEO' # 假设prev_tag是前一个标签。('参观天安门', ['O', 'B-POI', 'I-POI', 'I-POI'])" —— 人工智能先驱吴恩达。- **BiLSTM-CRF**：经典组合，在CoNLL-2003达到91%的F1值。('北京市', ['B-GEO', 'I-GEO', 'I-GEO']),
高压开关柜局部放电信号分析系统
m0_61057267的博客
04-28 1894
这个项目是我在2025年实现的高压开关柜局部放电信号分析系统，目的是通过采集分析局部放电信号，判断设备的工作状态和潜在故障。系统包含从信号模拟生成、特征提取、到深度学习模型训练的全流程，最终可自动生成分析报告。
远光软件发布九天 AI 应用开发平台，加速企业研发效能跃升
YG_JT的博客
04-30 614
4月25日，远光软件在“2025珠海软件产业年会暨AI技术赋能行业发展交流会”上以虚拟直播方式发布了远光九天AI应用开发平台。
Python项目--基于计算机视觉的手势识别控制系统
exlink2012的专栏
04-23 3817
随着人机交互技术的快速发展，传统的键盘、鼠标等输入设备已经不能满足人们对自然、直观交互的需求。手势识别作为一种非接触式的人机交互方式，具有操作自然、交互直观的特点，在智能家居、游戏控制、虚拟现实等领域有着广泛的应用前景。 本项目旨在开发一个基于计算机视觉的手势识别控制系统，通过摄像头捕获用户的手部动作，实时识别手势类型，并将识别结果转化为相应的控制命令，实现对计算机或其他设备的非接触式控制。
操作系统级竞争开启：AI Agent 能否成为人形机器人爆发的奇点？
望获实时Linux系统
04-30 1154
本文深入探讨了在人形机器人产业从“机械执行”向“自主决策”跃迁的背景下，实时操作系统（RTOS）与AI Agent融合对突破物理世界响应极限的关键作用，重点分析了望获实时Linux等国产RTOS的技术优势及其在不同领域的应用前景，同时客观阐述了产业面临的挑战与机遇，旨在为相关领域的学术研究和产业发展提供参考与借鉴。
生产级RAG系统一些经验总结
yanqianglifei的专栏
05-01 747
可能需要修剪或总结它们。一种常见方法是先检索，然后运行较小的语言模型或启发式算法，将每个检索到的文档总结为一段话，然后将这些摘要输入最终的语言模型。这有时被称为上下文压缩或自适应上下文。LlamaIndex等工具可以自动执行第二阶段，使用语言模型在最终答案之前将初始检索集压缩成更短的形式。仅在绝对需要时使用此方法，因为任何摘要都是额外的生成步骤，可能会引入自己的错误。随着2025年16k+标记模型的出现，如果适合，许多RAG系统尝试只提供原始文本，因为这保留了最大的细节。
+-----------------------+ | 预训练水印提取器（阶段1） | +-----------------------+ | v +-----------------------+ | 输入：原始图像x₀、k位消息m | +-----------------------+ | v +-----------------------+ | 水印编码器（Wᴇ）生成残差δ | | - 添加攻击模拟层T（随机裁剪、JPEG压缩等） | | - 优化目标：最小化消息损失Lₘ（BCE） | +-----------------------+ | v +-----------------------+ | 输出：水印图像x_w = x₀ + αδ | +-----------------------+ | v +-----------------------+ | PCA白化处理 | | - 去除提取器输出相关性 | +-----------------------+ | v +-----------------------+ | 保存水印提取器W | +-----------------------+ +-----------------------+ | 微调LDM解码器（阶段2） | +-----------------------+ | v +-----------------------+ | 输入：潜在向量z（来自扩散过程）| +-----------------------+ | v +-----------------------+ | 原始解码器D生成x₀' = D(z) | +-----------------------+ | v +-----------------------+ | 微调解码器D_m生成x' = D_m(z) | | - 联合优化目标： | | L = Lₘ（BCE）+ λ_i L_i（Watson-VGG）| +-----------------------+ | v +-----------------------+ | 输出：含水印图像x' | +-----------------------+ +-----------------------+ | 生成与攻击模拟（阶段3） | +-----------------------+ | v +-----------------------+ +-----------------------+ | 生成任务选择 |----->| 文本到图像、修复、超分等 | +-----------------------+ +-----------------------+ | v +-----------------------+ | 应用图像修改T' | | - 裁剪（保留10%-50%内容） | | - 亮度调整、JPEG压缩 | +-----------------------+ | v +-----------------------+ | 输出：待检测图像x'' | +-----------------------+ +-----------------------+ | 水印检测与统计验证（阶段4）| +-----------------------+ | v +-----------------------+ | 提取消息m' = W(x'') | +-----------------------+ | v +-----------------------+ | 统计假设检验 | | - 检测任务： | | if M(m, m') ≥ τ → H₁成立 | | - 识别任务：
03-22
可能涉及LDM（Latent Diffusion Model）解码器的微调，生成对抗攻击的模拟，以及水印的检测和验证。 首先，微调LDM解码器阶段。这部分可能需要调整解码器参数，将水印信息嵌入到潜在空间中。比如，在训练过程中，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

沉迷单车的追风少年

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值