准备好迎接3D世界的AI革新了吗:Direct3D,让3D创作触手可及

DreamTech 推出原生 3D-DiT 大模型 Direct3D

前言

QQ截图20240617170031.png

3D-DiT大模型Direct3D

就目前的AI市场而言,将文本和图像转化为高质量的3D资产一直很难实现,主要目前缺乏一种能够捕捉复杂几何结构而且还能够扩展的3D的方法。但 DreamTech 发布了一种名为Direct3D的新型3D生成模型,它能够直接处理野外输入的图像,而无需依赖多视图扩散模型或SDS优化。

介绍Direct3D

QQ截图20240617170229.png

部分参考图片

Direct3D模型由两个关键组件构成:直接3D变分自动编码器(D3D-VAE)和直接3D扩散变压器(D3D-DiT)。D3D-VAE能够高效地将高分辨率的3D形状编码到一个紧凑且连续的潜在空间中。该方法采用了一种半连续表面采样策略,直接对解码后的几何体进行监督,这与传统依赖渲染图像作为监督信号的方法有所不同。

D3D-DiT则负责对编码后的3D潜在变量的分布进行建模,它专门设计用来融合来自三个不同潜在空间的特征图的位置信息,从而实现对大规模3D数据集的原生3D生成。而且他们团队还引入了一种创新的图像到3D生成流程,该流程包含了语义和像素级的图像条件,使得模型能够生成与给定条件图像输入一致的3D形状。

通过大量实验,他们也证明了Direct3D在大规模预训练后,相较于以往的图像到3D方法,展现出了更好的生成质量和更强的泛化能力,为3D内容的创造设定了新的技术标准。

总结

​DreamTech通过推出Direct3D这一革命性的3D生成模型,不仅解决了将文本和图像转化为高质量3D资产的难题,还为AI市场带来了前所未有的创新。

厚德云官方最近推出GPU狂欢月活动!高配4090折扣劲爆价!如果你对算力感兴趣或有需求,可以来厚德云官方看看!

厚德云是专业的AI算力云平台,为用户提供稳定、可靠、易用、省钱的GPU算力解决方案。海量GPU算力资源租用,就在厚德云。

  • 7
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值