Hunyuan3D-1.0简介
近日国内大厂腾讯开源了最新首个同时集成文生和图生的3D开源模型:Hunyuan3D-1.0,该框架是一个统一的框架,可以被应用于文本到3D和图像到3D的生成。框架包含轻量版和标准版两个版本,都支持文本和图像条件的3D生成。
同时框架采用了2阶段生产方法:
-
• 在保证质量和可控的基础上,仅需10秒即可生成3D物体。在第一阶段,采用了一种多视角扩散模型,轻量版模型能够在大约4秒内高效生成多视角图像。
-
• 这些多视角图像从不同的视角捕捉了3D资产的丰富的纹理和几何先验,将任务从单视角重建松弛到多视角重建。在第二阶段,引入了一种前馈重建模型,利用上一阶段生成的多视角图像。
因此Hunyuan3D-1.0模型能够在大约3秒内快速而准确地重建3D视图。重建模型学习处理多视角扩散引入的噪声和不一致性,并利用条件图像中的可用信息高效恢复3D结构。最终,该模型可以实现输入任意单视角实现三维生成。模型能够被广泛应用于游戏开发、电影动画、电子商务以及虚拟现实/增强现实领域等广泛的应用场景。
-
• Github:https://github.com/Tencent/Hunyuan3D-1
-
• 项目主页:https://3d.hunyuan.tencent.com/
-
• huggingface:https://huggingface.co/tencent/Hunyuan3D-1
-
• 技术论文:https://3d.hunyuan.tencent.com/hunyuan3d.pdf
性能评估
腾讯Hunyuan3D-1.0在与其它开源3D生成方法的性能评估中表现出色,获得了最高的用户偏好评分。具体来说,Hunyuan3D-1.0的轻量版能够在大约10秒内使用NVIDIA A100 GPU从单一图像生成3D网格,而标准版则需要大约25秒。评估结果显示,Hunyuan3D-1.0在质量和效率之间取得了优异的平衡,如下图所示:
官方演示
Hunyuan3D-1.0体验
当前Hunyuan3D-1.0仅可以通过WebUI源码部署、ComfyUI、在线Demo体验,具体参见项目Github。由于ComfyUI插件涉及ComfyUI-3D-Pack插件安装,这是对本地环境要求和影响比较大的插件,插件作者也建议采用全新Conda环境安装,本文就详细叙述,具体参见ComfyUI文档。
-
• 項目主頁:https://github.com/Tencent/Hunyuan3D-1
-
• ComfyUI插件:https://github.com/jtydhr88/ComfyUI-Hunyuan3D-1-wrapper/blob/master/README_zh_CN.md
-
• 在线体验地址:https://huggingface.co/spaces/tencent/Hunyuan3D-1
Flux文生图工作流
Flux模型涉及ComfyUI工作流和模型均可在LIBLIBAI上下载或在线运行体验:
• FLUX.1哩布在线可运行-黑暗森林工作室:
https://www.liblib.art/modelinfo/488cd9d58cd4421b9e8000373d7da123
• F.1-绮梦流光-水湄凝香:
https://www.liblib.art/modelinfo/134c6dd95aef48e98a22b24e003e026b
• 工作流-Flux文|图生图+LORA+提示反推一键切换工作流:
https://www.liblib.art/modelinfo/782aacd70f604da39e83368c696a02a8
另外LIBLIBAI已支持本地客户端使用可首页(https://www.liblib.art/)可下载体验。
WebUI展示工作流
Hunyuan3D-1.0工作流
ComfyUI工作流安装视图ComfyUI-Hunyuan3D-1-wrapper插件。
01.熊猫
一只黑白相间的熊猫在白色背景上居中坐着,呈现出卡通风格和可爱氛围。
****透明背景图:
多面视图:
3D效果:
02.兔子
一只粉红色的拟人化兔子,站在白色背景前。照片采用居中构图方式,卡通风格
透明背景图:
多面视图:
3D效果:
03.人物
一个亚洲女人穿着红色连衣裙站在房间中间,居中,写实
透明背景图:
多面视图:
写在最后
感兴趣的小伙伴,赠送全套AIGC学习资料,包含AI绘画、AI人工智能等前沿科技教程和软件工具,具体看这里。
AIGC技术的未来发展前景广阔,随着人工智能技术的不断发展,AIGC技术也将不断提高。未来,AIGC技术将在游戏和计算领域得到更广泛的应用,使游戏和计算系统具有更高效、更智能、更灵活的特性。同时,AIGC技术也将与人工智能技术紧密结合,在更多的领域得到广泛应用,对程序员来说影响至关重要。未来,AIGC技术将继续得到提高,同时也将与人工智能技术紧密结合,在更多的领域得到广泛应用。
一、AIGC所有方向的学习路线
AIGC所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照下面的知识点去找对应的学习资源,保证自己学得较为全面。
二、AIGC必备工具
工具都帮大家整理好了,安装就可直接上手!
三、最新AIGC学习笔记
当我学到一定基础,有自己的理解能力的时候,会去阅读一些前辈整理的书籍或者手写的笔记资料,这些笔记详细记载了他们对一些技术点的理解,这些理解是比较独到,可以学到不一样的思路。
四、AIGC视频教程合集
观看全面零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。
五、实战案例
纸上得来终觉浅,要学会跟着视频一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。