腾讯Hunyuan3D:仅需10秒生成3D视图,首个同时支持文字和图像生成3D开源模型,3D游戏|影视|电商|虚拟现实

Hunyuan3D-1.0简介

近日国内大厂腾讯开源了最新首个同时集成文生和图生的3D开源模型Hunyuan3D-1.0,该框架是一个统一的框架,可以被应用于文本到3D图像到3D的生成。框架包含轻量版和标准版两个版本,都支持文本和图像条件的3D生成。

同时框架采用了2阶段生产方法:

  • • 在保证质量和可控的基础上,仅需10秒即可生成3D物体。在第一阶段,采用了一种多视角扩散模型,轻量版模型能够在大约4秒内高效生成多视角图像。

  • • 这些多视角图像从不同的视角捕捉了3D资产的丰富的纹理和几何先验,将任务从单视角重建松弛到多视角重建。在第二阶段,引入了一种前馈重建模型,利用上一阶段生成的多视角图像。

因此Hunyuan3D-1.0模型能够在大约3秒内快速而准确地重建3D视图。重建模型学习处理多视角扩散引入的噪声和不一致性,并利用条件图像中的可用信息高效恢复3D结构。最终,该模型可以实现输入任意单视角实现三维生成。模型能够被广泛应用于游戏开发、电影动画、电子商务以及虚拟现实/增强现实领域等广泛的应用场景。

  • Github:https://github.com/Tencent/Hunyuan3D-1

  • 项目主页:https://3d.hunyuan.tencent.com/

  • huggingface:https://huggingface.co/tencent/Hunyuan3D-1

  • 技术论文:https://3d.hunyuan.tencent.com/hunyuan3d.pdf

性能评估

腾讯Hunyuan3D-1.0在与其它开源3D生成方法的性能评估中表现出色,获得了最高的用户偏好评分。具体来说,Hunyuan3D-1.0的轻量版能够在大约10秒内使用NVIDIA A100 GPU从单一图像生成3D网格,而标准版则需要大约25秒。评估结果显示,Hunyuan3D-1.0在质量和效率之间取得了优异的平衡,如下图所示:

官方演示

Hunyuan3D-1.0体验

当前Hunyuan3D-1.0仅可以通过WebUI源码部署、ComfyUI、在线Demo体验,具体参见项目Github。由于ComfyUI插件涉及ComfyUI-3D-Pack插件安装,这是对本地环境要求和影响比较大的插件,插件作者也建议采用全新Conda环境安装,本文就详细叙述,具体参见ComfyUI文档。

  • 項目主頁:https://github.com/Tencent/Hunyuan3D-1

  • ComfyUI插件:https://github.com/jtydhr88/ComfyUI-Hunyuan3D-1-wrapper/blob/master/README_zh_CN.md

  • 在线体验地址:https://huggingface.co/spaces/tencent/Hunyuan3D-1

Flux文生图工作流

Flux模型涉及ComfyUI工作流和模型均可在LIBLIBAI上下载或在线运行体验:

• FLUX.1哩布在线可运行-黑暗森林工作室:

https://www.liblib.art/modelinfo/488cd9d58cd4421b9e8000373d7da123

• F.1-绮梦流光-水湄凝香:

https://www.liblib.art/modelinfo/134c6dd95aef48e98a22b24e003e026b

• 工作流-Flux文|图生图+LORA+提示反推一键切换工作流:

https://www.liblib.art/modelinfo/782aacd70f604da39e83368c696a02a8

另外LIBLIBAI已支持本地客户端使用可首页(https://www.liblib.art/)可下载体验。

WebUI展示工作流

Hunyuan3D-1.0工作流

ComfyUI工作流安装视图ComfyUI-Hunyuan3D-1-wrapper插件。

01.熊猫

一只黑白相间的熊猫在白色背景上居中坐着,呈现出卡通风格和可爱氛围。

****透明背景图:

多面视图:

3D效果:

02.兔子

一只粉红色的拟人化兔子,站在白色背景前。照片采用居中构图方式,卡通风格

透明背景图:

多面视图:

3D效果:

03.人物

一个亚洲女人穿着红色连衣裙站在房间中间,居中,写实

透明背景图:

多面视图:

写在最后

感兴趣的小伙伴,赠送全套AIGC学习资料,包含AI绘画、AI人工智能等前沿科技教程和软件工具,具体看这里。
在这里插入图片描述

AIGC技术的未来发展前景广阔,随着人工智能技术的不断发展,AIGC技术也将不断提高。未来,AIGC技术将在游戏和计算领域得到更广泛的应用,使游戏和计算系统具有更高效、更智能、更灵活的特性。同时,AIGC技术也将与人工智能技术紧密结合,在更多的领域得到广泛应用,对程序员来说影响至关重要。未来,AIGC技术将继续得到提高,同时也将与人工智能技术紧密结合,在更多的领域得到广泛应用。

在这里插入图片描述

一、AIGC所有方向的学习路线

AIGC所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照下面的知识点去找对应的学习资源,保证自己学得较为全面。

在这里插入图片描述

在这里插入图片描述

二、AIGC必备工具

工具都帮大家整理好了,安装就可直接上手!
在这里插入图片描述

三、最新AIGC学习笔记

当我学到一定基础,有自己的理解能力的时候,会去阅读一些前辈整理的书籍或者手写的笔记资料,这些笔记详细记载了他们对一些技术点的理解,这些理解是比较独到,可以学到不一样的思路。
在这里插入图片描述
在这里插入图片描述

四、AIGC视频教程合集

观看全面零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。

在这里插入图片描述

五、实战案例

纸上得来终觉浅,要学会跟着视频一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。
在这里插入图片描述
在这里插入图片描述

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值