【ICLR 2025】详细解读字节跳动视频生成论文 CyberHost: Taming Audio-driven Avatar Diffusion Model with Region Codebook

已于 2024-09-22 17:55:59 修改
阅读量1.5k 收藏 6
点赞数 28
分类专栏： Diffusion Models与深度学习 文章标签： 人工智能 深度学习 扩散模型 音视频 AIGC 计算机视觉
于 2024-09-22 11:44:02 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41895747/article/details/142138513
版权

Diffusion Models专栏文章汇总：入门与实战

前言：轰轰烈烈的ICLR 2025拉开序幕，由于是Open Review机制，很多最新的好作品都要被公开评审。博主最近会陆续介绍一些看到有趣的Diffusion相关的论文。这篇博客介绍来自字节跳动的可控视频生成相关论文《CyberHost: Taming Audio-driven Avatar Diffusion Model with Region Codebook Attention》。

目录

贡献概述

方法详解

Motion codebook

身份描述符

身体运动图

手部清晰度得分

Pose-aligned Reference Feature

关键点损失局部特征增强

两阶段训练

实验效果

贡献概述

在这项工作中，我们构建了一个能够零样本人类视频生成的单阶段音频驱动身体动画框架。该框架结合了区域码本注意机制来增强关键人体区域的生成质量ÿ

了解本专栏 订阅专栏 解锁全文 超级会员免费看
Diffusion Models视频生成-博客汇总
沉迷单车的追风少年
10-28 4544
Diffusion Models视频生成-博客汇总
Diffusion Models专栏文章汇总：入门与实战
热门推荐
沉迷单车的追风少年
02-21 3万+
《DiffusionModels与深度学习》专栏文章导航
ICLR 2025 首个满分论文！ControlNet作者可能再获一个Best Paper！
阿木寺的博客
11-29 1934
点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达点击进入—>【Mamba/多模态/扩散】交流群添加微信号：CVer2233，小助手会拉你进群！扫描下方二维码，加入CVer学术星球！可以获得最新顶会/顶刊上的论文idea和CV从入门到精通资料，及最前沿应用！发论文/搞科研/涨薪，强烈推荐！转载自：PaperWeeklyIC-Light论文的分数从均分9分（8/8/10/10...
ICLR 2025 | 时空数据(Spatial-Temporal)论文总结
suzukiwudi的博客
03-05 1215
ICLR 2025将在2025年4月24日到28日于新加坡举行。ICLR 2025共有11,565篇投稿，录取率32.08%。本文总结了2025 ICLR上有关时空数据(Spatial-Temporal)相关论文。如有疏漏，欢迎大家补充。：时空预测（交通，气象），时空动力学等。（ICLR更多的是交通数据以外的物理驱动的深度学习以及AI4Science的时空数据，笔者能力有限，囊括了更为广义的时空数据，没有加以区分。因此，部分内容可能缺乏必要的严谨性。）
发现了一个顶会2025投稿新风口，接受数量翻倍！
gzq0723的博客
06-05 5942
顶会ICLR 2024刚刚落幕，官方便宣布下届将在亚洲举办，参考往年会议安排，ICLR 2025即将开放注册，9月下旬截止投稿，众多热门研究领域里，因近年大模型爆火，而再次备受瞩目的时间序列方向，顶会收录数量逐年攀升，其中接受最多的ICLR，2024比2023足足翻了一倍，将近50篇的研究成果，预测方向更是占了近一半。为了帮助大家高效找idea，我们特为大家整理了ICLR 2024、2023收录论...
ICLR 2025 Workshop 征稿：推动基础模型的开源、开放、可复现
Paper weekly
01-07 474
国际学习表征会议 ICLR 作为深度学习领域的顶级学术活动，将于 2025 年 4 月 24-28 日在新加坡举办。期间，首届 Open Science for Foundation Models (SCI-FM) Workshop 将在会场同步开启，现面向业界进行征稿。时下，基础模型（Foundation Models）在自然语言处理、计算机视觉、语音识别和多模态理解等领域展现出显著价值。然而，...
WT2000T专业录音芯片：破解普通录音设备信息留存、合规安全与远程协作三大难题
Waytronic_的博客
04-23 1061
在快节奏的现代商业环境中，会议是企业决策、创意碰撞和战略部署的核心场景。然而，传统会议记录方式常面临效率低、信息遗漏、回溯困难等痛点。如何确保会议内容被精准记录并高效利用？会议室专用录音芯片应运而生，以智能化、高保真、安全便捷的特性，成为企业高效办公的“隐形助手”。
Python项目--基于计算机视觉的手势识别控制系统
exlink2012的专栏
04-23 2343
随着人机交互技术的快速发展，传统的键盘、鼠标等输入设备已经不能满足人们对自然、直观交互的需求。手势识别作为一种非接触式的人机交互方式，具有操作自然、交互直观的特点，在智能家居、游戏控制、虚拟现实等领域有着广泛的应用前景。 本项目旨在开发一个基于计算机视觉的手势识别控制系统，通过摄像头捕获用户的手部动作，实时识别手势类型，并将识别结果转化为相应的控制命令，实现对计算机或其他设备的非接触式控制。
人工智能(AI)对网络管理的影响
ITmoster的博客
04-25 1169
AI正从工具演变为网络管理的“核心大脑”，其价值不仅在于效率提升，更在于为复杂问题提供系统性解决方案。
tokenizer的用法
大多_C的博客
04-25 655
可以基于现有 tokenizer 进行修改，如添加自定义的 token（tokenizer.add_tokens([“新词”])），从而扩展词汇表，此时可调用 tokenizer.resize_token_embeddings(model) 更新模型嵌入层。]}，有时还会包含其他信息比如 “token_type_ids”、“offset_mapping”（用于对齐）等。• return_tensors: 指定返回类型，如 “pt”（PyTorch tensor）、“tf” 或 “np”（NumPy 数组）
AI 工程师崛起：科技浪潮下的新兴力量
2401_86652632的博客
04-25 990
在当今科技迅猛发展的时代，人工智能（AI）无疑是最热门的领域之一。随着基础模型的涌现和开源 / API 的普及，一种新兴的职业 ——AI 工程师，正逐渐崭露头角。他们在 AI 技术的应用和开发中扮演着关键角色，其崛起背后有着诸多深刻的原因，并且正在重塑整个科技行业的格局。今天，就让我们深入探究 AI 工程师这一职业的发展脉络。
软件专利申请：审查意见是“拦路虎“还是“磨刀石“？
wdip15的博客
04-22 824
根据统计，超过85%的专利申请都会经历至少一次审查意见。这不一定是坏事——经过修改的专利，授权后更经得起无效宣告的挑战。就像璞玉需要雕琢，好的专利也是"磨"出来的。下次收到审查意见时，不妨泡杯茶，仔细看看审查员的"批注"。也许你会发现，这恰恰是让技术方案更严谨的好机会。毕竟，专利申请不是"一锤子买卖"，而是场需要智慧的持久战。申请过软件专利的朋友常问："是不是每次申请都会收到一两次审查意见？"作为过来人，今天咱们就用大白话聊聊这个事儿。
职坐标IT培训提升计算机专业就业竞争力
haitongzzb的博客
04-23 1098
职坐标IT培训聚焦计算机专业核心技能提升，通过人工智能、大数据等前沿技术实战教学，结合名企合作项目实训，助力学员掌握行业紧缺技术。专业就业指导+职业规划，帮助计算机专业学生突破技术瓶颈，应对行业变革，斩获高薪offer，实现从校园到名企的无缝衔接。
多模态大语言模型arxiv论文略读（四十二）
Jamence的博客
04-26 1080
多模态大语言模型arxiv论文略读（四十一）➡️ 研究动机：为了提高模型在处理复杂布局文档和需要推理的问题时的性能，研究团队提出了一种基于数据增强和扩展的方法，通过多模态大语言模型（MLLMs）生成分步骤的问题-答案对，并使用高性能的语言模型作为错误检测器来过滤噪声数据。➡️ 问题背景：当前的多模态大语言模型（Multi-modal Large Language Models, MLLMs）在多种视觉-语言任务中展现了卓越的能力，但这些模型主要关注于理解图像的整体视觉信息，而忽略了图像中对象之间的关系。
盈达科技GEO解决方案：破解AI时代品牌增长困局
欢迎关注！盈达科技博客专注分享生成式引擎优化（GEO）核心技术，解析AI内容生成与搜索引擎协同优化的前沿方法论。
04-22 1105
盈达科技GEO解决方案：破解AI时代品牌增长困局 ——全域优化策略助力企业抢占生成式AI流量高地
协同过滤（Collaborative Filtering）
pljnb的博客
04-22 925
在MF基础上引入隐式反馈（如用户浏览、点击行为），增强用户隐向量的表达能力。将用户-物品评分矩阵分解为低维用户隐向量和物品隐向量的乘积，捕捉潜在特征。通过计算物品之间的相似度，基于用户历史喜欢的物品预测其对新物品的兴趣。通过计算用户之间的相似度，利用相似用户的评分预测目标用户的兴趣。
AI Agent: MCP和AI Agent的联系
最新发布
u011732210的博客
04-26 994
MCP 协议重新定义了 AI 与物理世界的交互方式，通过标准化接口、双向通信和上下文感知能力，使 AI Agent 从 “孤立的智能体” 进化为 “可协作的生态节点”。随着 MCP 生态的成熟，AI 应用将实现 “一句话连接万物” 的愿景，推动智能体互联网（AgentNet）的诞生。开发者可通过 MCP 协议快速构建跨平台、跨领域的智能应用，而企业则能利用 MCP 实现流程自动化、数据资产化和决策智能化的深度转型。
LSTM如何解决梯度消失问题
pljnb的博客
04-22 822
在标准RNN中，隐藏状态更新公式为： ht=tanh⁡(Whhht−1+Wxhxt+bh) h_t = \tanh(W_{hh}h_{t-1} + W_{xh}x_t + b_h) ht​=tanh(Whh​ht−1​+Wxh​xt​+bh​) 梯度计算通过链式法则展开： ∂ht∂ht−1=WhhT⋅diag(tanh⁡′(...)) \frac{\partial h_t}{\partial h_{t-1}} = W_{hh}^T \cdot \text{diag}(\tanh'(...)) ∂ht−1​∂
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

沉迷单车的追风少年

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值