【SIGGRAPH 2025】详细解读3D点云控制视频生成论文 Diffusion as Shader: 3D-aware Video Diffusion for Versatile

已于 2025-01-09 13:44:00 修改
阅读量861 收藏 8
点赞数 8
分类专栏： Diffusion Models与深度学习 文章标签： 3d 计算机视觉 AIGC 深度学习
于 2025-01-09 11:23:52 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41895747/article/details/145027388
版权

Diffusion Models专栏文章汇总：入门与实战

前言：学术届的视频生成逐渐进入CogVideox5B时代，这次博主给大家带来投稿至图形学顶会SIGGRAPH 2025的论文《Diffusion as Shader: 3D-aware Video Diffusion for Versatile Video Generation Control》，是一篇基于CogVideox5B的3D点云控制的工作，效果很赞，思路也有很多值得借鉴的地方。

目录

贡献概述

方法详解

注入条件

数据集和训练资源

应用

对象操控

动画网格生成视频

摄像机控制

动作迁移

论文

个人感悟

贡献概述

DaS是一个图像到视频的扩散模型，它将3D跟踪视频作为各种控制

了解本专栏 订阅专栏 解锁全文 超级会员免费看
Diffusion Models专栏文章汇总：入门与实战
沉迷单车的追风少年
02-21 3万+
《DiffusionModels与深度学习》专栏文章导航
Diffusion Models视频生成-博客汇总
沉迷单车的追风少年
10-28 4554
Diffusion Models视频生成-博客汇总
SIGGRAPH 2025 | 即插即用！港中文、腾讯等提出首个双分支视频修复框架VideoPainter
Paper weekly
04-11 118
通过构建大规模（390K 视频片段）视频修复数据集，结合轻量级上下文编码器（仅占骨干网络参数的 6%）和掩码选择性融合和修复区域 ID 重采样等模型架构来增强可扩展性和长视频 ID 一致性。具体而言，VideoPainter 引入专用的上下文编码器用于提取掩码视频特征，同时利用预训练 DiT 的能力生成语义连贯的视频内容，同时考虑保留的背景和文本提示。在视频编辑任务中，VideoPainter 同样表现优异，能够生成无缝的动画效果，保持平滑的时间过渡和精确的背景边界。
值得收藏！2024年人工智能顶级会议投稿信息汇总（计算机视觉领域）
热门推荐
audyxiao001的博客
03-29 2万+
本文对计算机视觉领域内的顶级会议进行了介绍，以便读者了解会议主题、截稿日期、录用通知时间、举办时间及地点等关键信息。同时还将相关会议信息汇总成一张表格，方便读者快速的查看计算机视觉领域内的相关论文。
最后倒计时，SIGMOD 2025全球数据库盛会，你准备好了吗？
ConferenceEye的博客
10-11 2149
同时，中国学者在SIGMOD会议上的表现逐年提升，投稿和接收量都在增加，显示出中国在全球科研交流中的活跃角色和重要影响力，相关快讯可通过会议之眼plus小程序进一步查看。会议内容丰富，包括技术程序、研究和工业演讲、教程、演示、专题工作坊、海报展示、工业展览以及职业发展小组讨论等。SIGMOD Conference 每年由 ACM 主办，汇集了全球顶尖的学者、研究人员和工业专家，探讨数据库系统、大数据处理、数据存储与检索、数据分析等方面的最新技术与应用。2025年1月30日，星期四，最终通知。
ACM顶会SIGGRAPH 2024最佳论文出炉：英伟达两篇最佳论文，三支国内团队获荣誉提名，浙大周昆获时间检验奖
u012744245的博客
06-21 4376
自1974年起，美国计算机协会计算机图形专业组（ACM SIGGRAPH）每年都会组织一次SIGGRAPH会议，是代表计算机图形学最高水平的全球国际性重量级盛会，规模大，规格高，影响力大，作品征集面广。论文 2：Femto-Photography: Capturing and Visualizing the Propagation of Light (2013)SIGGRAPH 2024 从数百篇投稿论文中评选出了 5 篇最佳论文，12 篇最佳论文荣誉提名以及 4 篇时间检验奖论文。
国内首个SIGGRAPH最佳论文奖！山东大学提出全新点云法向估计算法
Paper weekly
07-25 482
©作者 |机器之心编辑部来源 |机器之心2023 年 7 月 7 日，计算机图形学顶级会议 ACM SIGGRAPH 2023 最佳论文奖评选结果揭晓。其中，山东大学计算机科学与技术学院交叉研究中心（IRC）的科研团队发表的学术论文 “Globally Consistent Normal Orientation for Point Clouds by Regularizing the Wind...
京东3D空间视频生成技术探索与应用
京东零售技术的博客
04-17 1276
近年来，随着社交媒体、流媒体平台以及XR设备的快速发展，沉浸式3D空间视频的需求迅猛增长，尤其是在短视频、直播和电影领域，正在重新定义观众的观看体验。2023年，苹果公司发布的空间视频技术为这一趋势注入了新的活力，2025年以来，轻量化AI/AR眼镜迎来爆发，持续推动对3D空间视频内容的需求。然而，尽管消费端对3D内容的需求不断上升，供给端仍面临创作瓶颈，主要体现在可用于拍摄3D视频内容的专业相机设备稀缺、制作专业度要求高以及成本高昂等问题。
【AIGC】2024-arXiv-BrushNet：一种具有分解双分支扩散的即插即用图像修复模型
weixin_42475026的博客
11-05 1294
图像修复是恢复损坏图像的过程，随着扩散模型（DM）的出现，该过程取得了重大进展。尽管取得了这些进展，但当前针对修复的 DM 改编（涉及对采样策略的修改或开发特定于修复的 DM）经常遭受语义不一致和图像质量下降的影响。为了应对这些挑战，我们的工作引入了一种新颖的范式：将掩码图像特征和嘈杂的潜在特征划分为单独的分支。这种划分大大减少了模型的学习负担，有助于以分层方式细致入微地整合必要的掩码图像信息。在此，我们提出了 BrushNet，这是一种新颖的即插即用双分支模型。
论文阅读-CLIPasso-Semantically-Aware Object Sketching（生成-SIGGRAPH 2022 的最佳论文）
一位不是很硕的鉴伪方向硕士
10-29 2620
CLIPasso 要做的事情是由一张语义清晰的图像生成其对应的抽象简笔画，要求用较少的比划勾勒出原图的轮廓，并且与原图具有相同的语义内容，即原图是头公牛，生成的抽象简笔画也要能看出来是头公牛。
Implicit-Volumetric-Terrains：TOG论文的源代码：具有隐式3D功能的地形放大。 在Siggraph Asia 2019上发表
02-19
一些结果的源代码显示在论文“具有隐含3D功能的地形放大”中，该论文于2019年在ACM-TOG上发布，并在Siggraph Asia 2019上展出。该文档针对可能想要复制其中一些内容的研究人员，学生或专业人士。结果描述在论文中。...
QT控件 参考Qt的PIMPL设计模式实现使用QWidget控件绘制3D饼状图表和3D柱状图表，使用QChartView绘制圆柱体图表
每个文章的示例都可以在下载资源中找到源码，有任何问题或修改可以左下角的QQ名片私聊联系.
04-29 296
工作中之前遇到了绘制3D饼状图表的需求，通过Qt 实现3维饼状图 一文，成功迅速解决问题，现在闲下来了，之前看QtTreePropertyBrowser库的源代码，就想着学习学习Qt的PIMPL模式，于是就参照PIMPL模式实现通过QWidget控件的paintEvent函数重新绘制3D饼状图表和3D柱状图表统计数据的显示效果， 而使用QChartView绘制圆柱体图表完全是取巧了，为了紧急完成工作采用的方法，实际上使用3D柱状图表显示统计数据更加合理。
使用Three.js搭建自己的3Dweb模型（从0到1无废话版本）
记得开心一点嘛的博客
04-27 1055
Three.js​ 是一个基于 JavaScript 的 ​3D 图形库，用于在网页浏览器中创建和渲染交互式 3D 内容。它基于 WebGL（一种浏览器原生支持的 3D 图形 API），但通过更简单的抽象层让开发者无需直接编写复杂的 WebGL 代码即可构建 3D 场景。
自主采集高质量三维重建数据集指南：面向3DGS与NeRF的图像与视频拍摄技巧【2025最新版！！】
最新发布
举个栗子的博客
04-30 958
优质的数据是高质量三维重建的前提。3DGS 与 NeRF 对相机轨迹与图像一致性要求极高，而合理的拍摄策略能显著减少训练误差、提升建模精度。通过科学规划拍摄路径、控制移动节奏、保障光照环境，再结合自动化的后处理工具链，即使是普通手机也能采集出媲美专业设备的数据。本文不仅提供了完整的图文指南，帮助你构建高质量、自主可控、易于训练的三维重建数据集，还补充了一键提帧、标注转换与训练指令，覆盖从采集到建模的每一步流程。如果对你有帮助可以一键三连，有问题的小伙伴也欢迎评论区进一步交流！！
超级好用的​​参数化3D CAD 建模​​图形库 （CadQuery库介绍）
yuanpan的专栏
04-28 975
​ 使用 Python 创建精确的 3D 模型。​：STL、STEP、OBJ、SVG 等，兼容主流 CAD 软件（如 FreeCAD、SolidWorks）。​：可结合 NumPy、Matplotlib 等库进行高级计算和可视化。​ 库，允许用户通过编写代码（而不是传统 GUI）来创建精确的 ​。​：支持变量、循环、条件判断，便于快速迭代设计。​：类似 jQuery 的语法，代码简洁直观。​：底层使用工业级几何引擎，确保高精度建模。​ 等场景，提供强大的 ​。​ 的强大工具，适合 ​。
Locate 3D：Meta出品自监督学习3D定位方法
家鸽的代码屋
04-30 1295
我们提出了 Locate 3D，这是一种可根据指代表达（如“沙发和灯之间的小咖啡桌”）在三维场景中定位物体的模型。Locate 3D 在标准的指代定位基准测试中创下了新的最先进水平，并展现出强大的泛化能力。值得注意的是，Locate 3D 可直接处理传感器观测流（带位姿的 RGB-D 帧），从而支持在机器人和增强现实设备上的实际部署。我们方法的关键是 3D-JEPA，这是一种新颖的自监督学习（SSL）算法，适用于传感器点云。
MATLAB画出3d的常见复杂有机分子和矿物的分子结构
SmartGridequation的博客
04-28 694
你可以将上述代码复制到 MATLAB 编辑器中运行，就能看到苯分子和氯化钠分子的 3D 结构，不同原子用不同颜色的球体表示。如果需要绘制其他分子，只需按照相同的方式定义原子坐标、原子类型和键连接关系即可。你可以把上述代码复制到 MATLAB 编辑器中运行，这样就能看到硬脂酸和尿素的 3D 分子结构，不同原子会用不同颜色的球体表示。
QT Quick 3D 渲染之场景构建(一)
一个大佬的博客
04-27 564
【代码】QT Quick 3D 渲染之场景构建(一)
ShaderToy学习笔记 04.绘制多个3D对象
weixin_44539328的博客
04-28 410
float d;vec3 color;
精选图像修复与视频修复论文资源：Awesome-Image-Inpainting
下面，我们将详细解读这些论文和技术点。 ### 经典方法（基于非学习） #### Bertalmio, M., Sapiro, G., Caselles, V., & Ballester, C. (SIGGRAPH 2000) 这篇文章标志着图像修复领域的一个重要进展。作者提出了一...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

沉迷单车的追风少年

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值