3d生成
文章平均质量分 90
AI生成未来
这个作者很懒,什么都没留下…
展开
-
3D生成基础模型来了!只需5秒,高质量3D资产规模化生成!南洋理工等重磅开源3DTopia-XL
预备知识。给定一个带有纹理的3D网格,将其3D形状表示为S∈R3S∈R3,其中x∈Sx \in Sx∈S是形状占据空间内的点,而 $x \in \partial S $ 是形状边界上的点,即形状的表面。我们将3D形状建模为SDF如下:此外,给定形状表面的邻域U∂Sδx∣dx∂SδU∂Sδx∣dx∂Sδ,目标网格的空间变化颜色函数和材质函数定义如下:其中CxR3→R3CxR3→R3和ρxR3→。原创 2024-10-11 08:42:01 · 238 阅读 · 0 评论 -
ECCV`24 | 新加坡国立&华为提出Vista3D: 实现快速且多视角一致的3D生成
解决的问题解决单张图像生成3D对象时多视图不一致的问题。平衡3D生成中的一致性与多样性。提出的方案Vista3D框架采用两阶段方法:粗略阶段通过高斯投影生成初始几何,精细阶段优化符号距离函数(SDF)。使用角度组合方法进行扩散先验,通过约束梯度幅度实现多样性。应用的技术高斯投影和可微等值面方法。解耦纹理技术。使用两个独立隐函数捕捉物体的可见和隐藏方面。达到的效果在短短5分钟内实现快速且一致的3D生成。提升生成质量,维持3D物体一致性和多样性之间的平衡。原创 2024-10-10 08:43:24 · 763 阅读 · 0 评论 -
ACM MM24 | Hi3D: 3D生成领域再突破!新视角生成和高分辨率生成双SOTA(复旦&智象等)
Hi3D框架旨在解决从高分辨率图像生成3D模型时面临的挑战,特别是如何在多个视角之间保持几何一致性和高质量的纹理细节。传统方法往往在生成多视角图像时缺乏时间一致性,导致生成的3D内容在视觉上不连贯。原创 2024-09-22 16:59:11 · 1210 阅读 · 0 评论 -
Amazing!精准可控新视角视频生成+场景级3D生成!北大&港中文&腾讯等开源ViewCrafter
Sora等在大规模真实场景视频数据集上训练得到视频扩散模型能够学到对3D物理世界的深入理解,从而使其从单张图像或文本提示中生成复合物理规律和现实世界规则的视频内容。然而,由于它们缺乏场景的底层3D信息,因此难以在视频生成过程中实现精确的相机视角控制。原创 2024-09-13 09:04:49 · 1048 阅读 · 0 评论 -
高保真+通用!视频扩散模型加持,稀疏视图重建任意场景!清华&港科大发布ReconX
给定 个稀疏视角(即,少至两个)图像 ,其中 ,目标是重建基础的3D场景,并合成未见视角的新视图。在框架 ReconX 中,首先从 中构建一个全局点云 ,并将 投影到3D上下文表示空间 中,作为结构指导。然后,将 注入视频扩散过程中,以生成3D一致的视频帧 ,其中 ,从而创建更多的观测。为缓解生成视频间不一致性导致的负面伪影,我们利用来自 DUSt3R 模型的置信度图 和 LPIPS 损失来实现鲁棒的3D重建。通过这种方式,我们能够释放视频扩散模型的全部潜力,从非常稀疏的视角中重建复杂的3D场景。原创 2024-09-10 09:09:59 · 1217 阅读 · 0 评论 -
3D人体重建新SOTA!清华&腾讯等重磅发布MagicMan:单一图像生成高质量人体新突破
MagicMan,一种通过利用图像扩散模型作为 2D 生成先验和 SMPL-X 模型作为 3D 身体先验的方法,从单张参考图像生成人体的新视角。基于此,作者提出的高效混合多视角注意力机制确保了生成更密集的多视角图像,同时保持高的 3D 一致性,这一效果通过几何感知双分支进一步得到增强。此外,作者的新型迭代优化过程通过逐次迭代优化初始估计的 SMPL-X 姿势,以提高生成新视角的一致性,并缓解由不准确 SMPL-X 估计引起的几何畸形问题。原创 2024-09-09 23:37:43 · 1338 阅读 · 0 评论 -
可提示 3D 分割研究里程碑!SAM2Point:SAM2加持泛化任意3D场景、任意提示!
本解读已获得论文作者的原创解读授权文章链接:https://arxiv.org/pdf/2408.16768在线demo: https://huggingface.co/spaces/ZiyuG/SAM2Pointcode链接:https://github.com/ZiyuGuo99/SAM2Point:SAM2POINT 通过将 3D 数据体素化为视频格式,避免了复杂的 2D-3D 投影,实现了高效的零样本 3D 分割,同时保留了丰富的空间信息。原创 2024-09-08 08:46:59 · 1058 阅读 · 0 评论