[ComfyUI]腾讯混元3D:2.0重大升级!先进的高分辨率的3D白膜和带纹理3D模型,最全本地ComfyUI部署指南

哈喽这里是海绵

前言

混元3D:2.0重大升级,最全本地ComfyUI部署指南!

混元3D 2.0简介

在之前文章已经介绍过最新由腾讯开源的最新3D模型:混元3D 2.0(Hunyuan3D-2)腾讯混元3D:2.0重大升级,完善3D生态产品和3D模型工作流)。混元 3D 2.0是一款可以被用于生成高分辨率的3D白膜以及带纹理的 3D 模型的先进的开源大规模3D模型。在性能评估结果表明:混元 3D 2.0 在几何细节、条件匹配、纹理质量等方面均优于以往的最先进的开源以及闭源模型。

所有的AI设计工具,安装包、模型和插件,都已经整理好了,👇获取~

请添加图片描述

  • • 更多细节参见文章:[腾讯混元3D:2.0重大升级,完善3D生态产品和3D模型工作流]

  • huggingface:https://huggingface.co/tencent/Hunyuan3D-2/tree/main

  • Github:https://github.com/VGenAI-Netflix-Eyeline-Research/Go-with-the-Flow

  • 官方产品主页:https://3d.hunyuan.tencent.com/apply?sid=59f62bbb-4104-4bdf-b8ab-6d218138a8b7

混元3D 2.0模型 ComfyUI体验

社区 @kijai 大佬已经开发了ComfyUI插件ComfyUI-Hunyuan3DWrapper支持本地体验。建议新环境独立安装,另外模型文末网盘下载

  • ComfyUI-Hunyuan3DWrapper插件:https://github.com/kijai/ComfyUI-Hunyuan3DWrapper

  • hunyuan3d-dit-v2-0-fp16.safetensors:下载模型并放置 /ComfyUI/models/unet目录。下载地址:https://huggingface.co/Kijai/Hunyuan3D-2_safetensors/tree/main

  • hunyuan3d-v2模型:还需下载hunyuan3d-delight-v2-0、hunyuan3d-paint-v2-0模型并放置 /ComfyUI/models/diffusers目录。下载地址:https://huggingface.co/tencent/Hunyuan3D-2/tree/main

  • • 对于3D纹理另外还需要额外安装环境依赖。环境要求Windows 11 python 3.12 cu126最新版本ComfyUI

pip install -r requirements.txt   pip install wheels\custom_rasterizer-0.1-cp312-cp312-win_amd64.whl

整合包安装如下:

python_embeded\python.exe -m pip install -r ComfyUI\custom_nodes\ComfyUI-Hunyuan3DWrapper\requirements.txt   python_embeded\python.exe -m pip install ComfyUI\custom_nodes\ComfyUI-Hunyuan3DWrapper\wheels\custom_rasterizer-0.1-cp312-cp312-win_amd64.whl

Python 3.10安装参见:https://github.com/kijai/ComfyUI-Hunyuan3DWrapper/issues/6

# cannot import name '_CollectionEncoder' from 'dataclasses_json.core'   pip install pygltflib==1.16.2 -U   # 3D纹理 Python3.10   pip install https://huggingface.co/datasets/Softology-Pro/VoC/resolve/main/custom_rasterizer-0.1-cp310-cp310-win_amd64.whl   pip install https://huggingface.co/datasets/Softology-Pro/VoC/resolve/main/mesh_processor-0.0.0-cp310-cp310-win_amd64.whl

  • 官方产品主页:另外还可以使用官方在线产品体验,参考文章:[腾讯混元3D:2.0重大升级,完善3D生态产品和3D模型工作流]。

Flux文生图&混元视频工作流

最新LIBLIBAI平台已支持Flux文生图和混元视频ComfyUI工作流在线体验:

• F.1-绮梦流光-水湄凝香:

https://www.liblib.art/modelinfo/134c6dd95aef48e98a22b24e003e026b

• 文生图-Flux文生图(PuLID|LORA|Joy|SUPIR)工作流:

https://www.liblib.art/modelinfo/782aacd70f604da39e83368c696a02a8?versionUuid=9c5eceb01fb94d4d93d60fe2c0bd7468

• 文生视频-腾迅混元最强开源视频(LORA)工作流:

https://www.liblib.art/modelinfo/35ee21d5f6a94204abb767ad194ab9cd?versionUuid=be674032ffa14e5597a08922556f4da0

混元3D 2.0模型工作流体验

混元3D 2.0模型工作流已上传LIBLIBAI平台可体验:https://www.liblib.art/modelinfo/3402f146c9e74d748921c7fae1ea1f0c?versionUuid=085c645558c14fe89045e94fd62cea43

注意

• 混元3D产品支持多种方式3D模型生成,包括:支持文生3D、图生3D、纹理生成、低多边形生成、骨骼绑定、动作驱动、草图生3D、3D风格化、3D游戏等。同时还包括一个类似Comfyui工作流的在线3D工作流生成产品。参考文章:腾讯混元3D:2.0重大升级,完善3D生态产品和3D模型工作流

• 混元3D模型相比1.0版本,有明显的显著性能提升,特别在几何结构上更加锐利和精准,3D材质也更加稳定,以及人物角色的肢体表现的显著提升。但在3D模型的糊脸仍然有小概率问题。

01.古韵国风

02.小黄人

03.奥特曼

为了帮助大家更好地掌握 ComfyUI,我在去年花了几个月的时间,撰写并录制了一套ComfyUI的基础教程,共六篇。这套教程详细介绍了选择ComfyUI的理由、其优缺点、下载安装方法、模型与插件的安装、工作流节点和底层逻辑详解、遮罩修改重绘/Inpenting模块以及SDXL工作流手把手搭建。

由于篇幅原因,本文精选几个章节,详细版点击下方卡片免费领取

在这里插入图片描述

一、ComfyUI配置指南
  • 报错指南
  • 环境配置
  • 脚本更新
  • 后记

img

二、ComfyUI基础入门
  • 软件安装篇
  • 插件安装篇

img

三、 ComfyUI工作流节点/底层逻辑详解
  • ComfyUI 基础概念理解
  • Stable diffusion 工作原理
  • 工作流底层逻辑
  • 必备插件补全

img

四、ComfyUI节点技巧进阶/多模型串联
  • 节点进阶详解
  • 提词技巧精通
  • 多模型节点串联

img

五、ComfyUI遮罩修改重绘/Inpenting模块详解
  • 图像分辨率
  • 姿势

img

六、ComfyUI超实用SDXL工作流手把手搭建
  • Refined模型
  • SDXL风格化提示词
  • SDXL工作流搭建

img

由于篇幅原因,本文精选几个章节,详细版点击下方卡片免费领取

在这里插入图片描述

### 混元3D模型部署教程指南 #### 一、环境准备 为了成功部署混元3D模型Hunyuan3D-1.0,在不同的硬件配置上实现高效推理,需先准备好相应的软件硬件环境。确保安装有兼容的操作系统版本以及必要的依赖库,如CUDA、cuDNN等用于加速计算的工具包[^1]。 ```bash # 安装NVIDIA驱动程序及CUDA Toolkit sudo apt-get update && sudo apt-get install nvidia-driver-<version> cuda-toolkit-<version> ``` #### 二、获取预训练模型文件 访问官方渠道下载预先训练好的混元3D权重参数其他必要资源文件。这些资料通常会打包在一起供开发者使用,并附详细的说明文档来指导后续操作过程。 #### 三、设置运行环境 创建虚拟Python环境以隔离项目所需的特定版本解释器及其扩展模块;接着按照指引安装所需的所有Python包,包括但不限于PyTorch框架本身以及其他辅助性的第三方库。 ```bash # 创建并激活conda虚拟环境 conda create --name hunyuan_env python=3.x conda activate hunyuan_env # 安装pytorch及相关依赖项 pip install torch torchvision torchaudio ``` #### 四、加载与初始化模型实例 编写脚本读取之前获得的数据集路径作为输入源之一,通过调用API接口完成对混元3D架构对象的构建工作。在此基础上进一步调整超参设定值至最优状态以便于后期性能测试阶段能够取得理想效果。 ```python import torch from model import Hunyuan3DModel # 假设model.py定义了此函数 device = &#39;cuda&#39; if torch.cuda.is_available() else &#39;cpu&#39; model_path = &#39;./pretrained_weights.pth&#39; hunyuan_model = Hunyuan3DModel().to(device) checkpoint = torch.load(model_path, map_location=device) hunyuan_model.load_state_dict(checkpoint[&#39;state_dict&#39;]) ``` #### 五、执行预测任务 最后一步就是利用已经搭建完毕的服务端口接收来自客户端发送过来待处理的任务请求消息体内的图像序列数据流,经过一系列转换之后传递给上述建立起来的对象进行实际运算得出最终结果返回给对方显示出来即可。 ```python def predict(input_data): input_tensor = preprocess_input(input_data).unsqueeze(0).to(device) with torch.no_grad(): output = hunyuan_model(input_tensor)[0] result = postprocess_output(output.cpu()) return result ```
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值