ComfyUI 集成混元DIT（comfyui-hydit）

最新推荐文章于 2024-06-26 11:20:33 发布
最新推荐文章于 2024-06-26 11:20:33 发布
阅读量1k 收藏 13
点赞数 14
分类专栏： AI 大模型 文章标签： 大模型 多模态大模型 文生图 ComfyUI
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/tanlintanlin/article/details/139669014
版权

最近腾讯官方推出了ComfyUI插件comfyui-hydit 。是一个专门为腾讯的 Hunyuan-DiT 模型设计的自定义节点和工作流。本文主要介绍如何通过ComfyUI来运行腾讯新出的支持中文提示词的混元文生图大模型Hunyuan-DiT

环境准备

插件

从腾讯混元DIT 源码库获取插件源码：
https://github.com/Tencent/HunyuanDiT.git
从该仓库中获取 ：comfyui-hydit

模型

所有模型下载后保存在需要挂载的路径下。

所有模型下载后保存在需要挂载的路径下：/u01/workspace/models/hunyuan

克隆HunyuanDiT模型

有多个模型可选择，我们这里采用了第三个模型：
Tencent-Hunyuan/HunyuanDiT 基础模型
Tencent-Hunyuan/HunyuanDiT-Diffusers 加入Diffusers格式
Tencent-Hunyuan/Distillation 加速版

git clone https://huggingface.co/Tencent-Hunyuan/HunyuanDiT
git clone https://huggingface.co/Tencent-Hunyuan/Distillation

如果想要加速版，以上两个地址的文件都要下载
注意下载完Distillation 模型后，需要拷贝模型pytorch_model_distill.pt到： HunyuanDiT/t2i/model/目录下

下载OpenAI视觉模型

git clone https://hf-mirror.com/openai/clip-vit-large-patch14-336
:::danger
保存位置：/u01/workspace/models/clip-vit-large-patch14-336
源码修改方式请参照混元模型的部署过程。
:::

容器化部署ComfyUI

复制comfyui-hydit插件目录到ComfyUI custom_nodes目录：

├── AIGODLIKE-ComfyUI-Translation
├── comfyui_controlnet_aux
├── ComfyUI_Custom_Nodes_AlekPet
├── ComfyUI-Custom-Scripts
├── comfyui-hydit
├── ComfyUI-Manager
├── ComfyUI_TiledKSampler
├── ComfyUI_UltimateSDUpscale
├── Derfuu_ComfyUI_ModdedNodes
├── efficiency-nodes-comfyui
├── example_node.py.example
├── __pycache__
├── sdxl_prompt_styler
└── websocket_image_save.py

准备Dockerfile文件

准备Dockerfile可以安装预装插件和不预装两种不同的方式，如果不预装插件，可以把插件挂载到宿主机上等启动之在安装插件，本文采用的是预装的方式准备的Dockerfile

FROM pytorch/pytorch:2.3.0-cuda12.1-cudnn8-runtime
ARG DEBIAN_FRONTEND=noninteractive
ENV TZ=Etc/UTC
ENV LANG=zh_CN.UTF-8
WORKDIR /app

RUN apt-get update 
RUN apt-get install -y libgl1-mesa-glx libglib2.0-0 libsm6 libxrender1 libxext6 git
RUN rm -rf /var/lib/apt/lists/*
ENV GIT_PYTHON_REFRESH=quiet 

RUN pip config set global.index-url http://mirrors.aliyun.com/pypi/simple
RUN pip config set install.trusted-host mirrors.aliyun.com

COPY ComfyUI/ /app/ComfyUI/
WORKDIR /app/ComfyUI

RUN pip install --use-pep517 -r requirements.txt
RUN pip install -r  custom_nodes/comfyui_controlnet_aux/requirements.txt
RUN pip install -r  custom_nodes/ComfyUI-Manager/requirements.txt
RUN pip install -r  custom_nodes/ComfyUI_Custom_Nodes_AlekPet/ArgosTranslateNode/requirements.txt
RUN pip install -r  custom_nodes/ComfyUI_Custom_Nodes_AlekPet/DeepTranslatorNode/requirements.txt
RUN pip install -r  custom_nodes/ComfyUI_Custom_Nodes_AlekPet/GoogleTranslateNode/requirements.txt
RUN pip install -r  custom_nodes/efficiency-nodes-comfyui/requirements.txt
RUN pip install -r  custom_nodes/comfyui-hydit/requirements.txt

EXPOSE 8188
CMD [ "python","main.py ","--port 8188"]

custom_nodes/comfyui-hydit/requirements.txt 修改：

#--extra-index-url https://pypi.ngc.nvidia.com
#--extra-index-url https://download.pytorch.org/whl/cu117
timm
diffusers
peft
protobuf
accelerate
loguru
sentencepiece
cuda-python
polygraphy
pandas
omegaconf
# torch>=2.3.0
# torchvision>=0.18.0
# torchaudio>=2.3.0
xformers>=0.0.26.post1
pytorch_lightning

执行构建

docker buile -t qingcloudtech/comfyui:v1.1 .

启动容器

docker run -it --gpus all \
-p 8188:8188 \
-v /u01/workspace/models/stablediffusion:/app/ComfyUI/models \
-v /u01/workspace/comfyui/output/:/app/ComfyUI/output \
- /u01/workspace/ComfyUI/extra_model_paths.yaml:/app/ComfyUI/extra_model_paths.yaml
qingcloudtech/comfyui:v1.5 python main.py

启动容器（docker-compose方式）

准备配置文件
version: '3.8'
services:
  comfyui:
    image: qingcloudtech/comfyui:v1.1
    container_name: comfyui
    command: python /app/ComfyUI/main.py
    deploy:
      resources:
        reservations:
          devices:
            - driver: nvidia
              count: all
              capabilities: [gpu]
    volumes:
      - /u01/workspace/models/stablediffusion/:/app/ComfyUI/models/
      - /u01/workspace/comfyui/output/:/app/ComfyUI/output
      - /u01/workspace/ComfyUI/extra_model_paths.yaml:/app/ComfyUI/extra_model_paths.yaml
    network_mode: host
执行启动命令：
docker-compose up -d

浏览器访问：

演示访问：

1、浏览器访问：127.0.0.1:8188
2、从web界面中加载如下测试json：

{
  "last_node_id": 21,
  "last_link_id": 6,
  "nodes": [
    {
      "id": 19,
      "type": "DiffusersClipTextEncode",
      "pos": [
        74,
        277
      ],
      "size": {
        "0": 400,
        "1": 200
      },
      "flags": {},
      "order": 0,
      "mode": 0,
      "outputs": [
        {
          "name": "positive",
          "type": "STRINGC",
          "links": [
            5
          ],
          "shape": 3,
          "label": "positive"
        },
        {
          "name": "negative",
          "type": "STRINGC",
          "links": [
            6
          ],
          "shape": 3,
          "label": "negative"
        }
      ],
      "properties": {
        "Node name for S&R": "DiffusersClipTextEncode"
      },
      "widgets_values": [
        "castle,landscape,1girl,loli,silver hair,school_uniform,crystal_earrings,kind_smile,arm_support,in summer,mini_witch_hat,frilled,strappy_heels,book,\n",
        "错误的眼睛，糟糕的人脸，毁容，糟糕的艺术，变形，多余的肢体，模糊的颜色，模糊，重复，病态，残缺，"
      ]
    },
    {
      "id": 16,
      "type": "DiffusersModelMakeup",
      "pos": [
        526,
        393
      ],
      "size": {
        "0": 304.79998779296875,
        "1": 46
      },
      "flags": {},
      "order": 3,
      "mode": 0,
      "inputs": [
        {
          "name": "pipeline",
          "type": "PIPELINE",
          "link": 2,
          "label": "pipeline"
        },
        {
          "name": "scheduler",
          "type": "SCHEDULER",
          "link": 3,
          "label": "scheduler"
        }
      ],
      "outputs": [
        {
          "name": "MAKED_PIPELINE",
          "type": "MAKED_PIPELINE",
          "links": [
            4
          ],
          "shape": 3,
          "label": "MAKED_PIPELINE"
        }
      ],
      "properties": {
        "Node name for S&R": "DiffusersModelMakeup"
      }
    },
    {
      "id": 18,
      "type": "DiffusersSampler",
      "pos": [
        842,
        132
      ],
      "size": [
        315,
        454
      ],
      "flags": {},
      "order": 4,
      "mode": 0,
      "inputs": [
        {
          "name": "maked_pipeline",
          "type": "MAKED_PIPELINE",
          "link": 4,
          "label": "maked_pipeline"
        },
        {
          "name": "positive",
          "type": "STRINGC",
          "link": 5,
          "label": "positive"
        },
        {
          "name": "negative",
          "type": "STRINGC",
          "link": 6,
          "label": "negative"
        }
      ],
      "outputs": [
        {
          "name": "IMAGE",
          "type": "IMAGE",
          "links": [
            1
          ],
          "shape": 3,
          "label": "IMAGE"
        }
      ],
      "properties": {
        "Node name for S&R": "DiffusersSampler"
      },
      "widgets_values": [
        1,
        1024,
        1024,
        30,
        6,
        2705109163,
        "randomize"
      ]
    },
    {
      "id": 6,
      "type": "PreviewImage",
      "pos": [
        1186,
        181
      ],
      "size": [
        210,
        246
      ],
      "flags": {},
      "order": 5,
      "mode": 0,
      "inputs": [
        {
          "name": "images",
          "type": "IMAGE",
          "link": 1,
          "label": "图像"
        }
      ],
      "title": "Preview Image",
      "properties": {
        "Node name for S&R": "PreviewImage"
      }
    },
    {
      "id": 21,
      "type": "DiffusersPipelineLoader",
      "pos": [
        81,
        544
      ],
      "size": {
        "0": 315,
        "1": 190
      },
      "flags": {},
      "order": 1,
      "mode": 0,
      "outputs": [
        {
          "name": "PIPELINE",
          "type": "PIPELINE",
          "links": [
            2
          ],
          "shape": 3,
          "label": "PIPELINE"
        },
        {
          "name": "MODEL",
          "type": "MODEL",
          "links": null,
          "shape": 3,
          "label": "MODEL"
        },
        {
          "name": "CLIP",
          "type": "CLIP",
          "links": null,
          "shape": 3,
          "label": "CLIP"
        },
        {
          "name": "VAE",
          "type": "VAE",
          "links": null,
          "shape": 3,
          "label": "VAE"
        }
      ],
      "properties": {
        "Node name for S&R": "DiffusersPipelineLoader"
      },
      "widgets_values": [
        "ckpts",
        "pytorch_model_distill.pt",
        "disable",
        "diffusers"
      ]
    },
    {
      "id": 15,
      "type": "DiffusersSchedulerLoader",
      "pos": [
        73,
        129
      ],
      "size": {
        "0": 315,
        "1": 58
      },
      "flags": {},
      "order": 2,
      "mode": 0,
      "outputs": [
        {
          "name": "SCHEDULER",
          "type": "SCHEDULER",
          "links": [
            3
          ],
          "shape": 3,
          "label": "SCHEDULER"
        }
      ],
      "properties": {
        "Node name for S&R": "DiffusersSchedulerLoader"
      },
      "widgets_values": [
        "ddim"
      ]
    }
  ],
  "links": [
    [
      1,
      18,
      0,
      6,
      0,
      "IMAGE"
    ],
    [
      2,
      21,
      0,
      16,
      0,
      "PIPELINE"
    ],
    [
      3,
      15,
      0,
      16,
      1,
      "SCHEDULER"
    ],
    [
      4,
      16,
      0,
      18,
      0,
      "MAKED_PIPELINE"
    ],
    [
      5,
      19,
      0,
      18,
      1,
      "STRINGC"
    ],
    [
      6,
      19,
      1,
      18,
      2,
      "STRINGC"
    ]
  ],
  "groups": [],
  "config": {},
  "extra": {
    "ds": {
      "scale": 0.9090909090909098,
      "offset": {
        "0": 163.4918776991919,
        "1": 16.755363890844446
      }
    }
  },
  "version": 0.4
}

3、查看结果：
image.png

【Qinghub Studio 】更适合开发人员的低代码开源开发平台
【QingHub企业级应用统一部署】
【QingHub企业级应用开发管理】
【QingHub演示】
【https://qingplus.cn】

轻云UC
关注
  • 14
    点赞
  • 踩
  • 13
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Comfyui一个类似PS的图像处理工具.zip
04-15
【项目资源】：图像处理。包含前端、后端、移动开发、人工智能、物联网、信息化管理、数据库、硬件开发、大数据、课程资源等各种技术项目的源码。包括C++、Java、python、web、C#、EDA等项目的源码。 【适用人群】：适用于希望学习不同技术领域的小白或进阶学习者。可作为毕设项目、课程设计、大作业、工程实训或初期项目立项。 【附加价值】：项目具有较高的学习借鉴价值，也可直接拿来修改复刻。对于有一定基础或热衷于研究的人来说，可以在这些基础代码上进行修改和扩展，实现其他功能。 【沟通交流】：有任何使用上的问题，欢迎随时与博主沟通，博主会及时解答。鼓励下载和使用，并欢迎大家互相学习，共同进步。
腾讯混元文生图模型HunyuanDiT部署体验
Qinghub‘博客
05-15 2249
最近，腾讯混元文生图模型HunyuanDiT 架构升级，并免费开源了。他采用的神经网络架构和Sara一样都是Diffusion Transformer，参数量已经达到15亿。官方测评效果显示超过目前开源的Stable Diffusion。试用下来效果比较令人惊喜。
ComfyUI 详细入门基础教程之（一）：安装与常用插件
热门推荐
qq_41187040的博客
01-22 1万+
学习ComfyUI教程，肯定对 Stable Diffusion（以下简称 SD）操作界面有所熟悉了。让我们一起谈探索ComfyUI工作流吧，它有什么魅力那？ComfyUI是什么？ComfyUI 是 一个基于节点流程的 Stable Diffusion 操作界面，可以通过流程，实现了更加精准的工作流定制和完善的可复现性。每一个模块都有特定的的功能，我们可以通过调整模块连接达到不同的出图效果。但节点式的工作流也提高了一部分使用门槛。
无需翻墙｜Stable Diffusion WebUI 安装｜AI绘画
这都不是事er 的博客
12-29 2616
最近终于有机会从围墙里往外看，了解到外面的世界已经有了天翻地覆的变化，感叹万千，笔者在本地mac，windows，linux，docker部署了不下20遍后，整理出来的极简避坑安装方案，供大家参考学习。
Stable Diffusion ComfyUI 基础教程（六）图片放大与细节修复
qq_41314882的博客
03-28 2373
AIGC技术的未来发展前景广阔，随着人工智能技术的不断发展，AIGC技术也将不断提高。未来，AIGC技术将在游戏和计算领域得到更广泛的应用，使游戏和计算系统具有更高效、更智能、更灵活的特性。同时，AIGC技术也将与人工智能技术紧密结合，在更多的领域得到广泛应用，对程序员来说影响至关重要。未来，AIGC技术将继续得到提高，同时也将与人工智能技术紧密结合，在更多的领域得到广泛应用。感兴趣的小伙伴，赠送全套AIGC学习资料和安装工具，包含AI绘画、AI人工智能等前沿科技教程，模型插件，具体看下方。
ComfyUI工作流——混元大模型--混世大魔王
道至简
06-19 600
说实话，在成语方面，混元表现实在一般，多数理解的并不到位，或者干脆不懂。前两项确实有点难为大模型的意思了，毕竟这些成语和诗词蕴含的意思博大精深，即使能理解，用图表现出来也不容易。总体来说，比其他模型还是更好的。总体来说，中国的传统节日是懂得，但节气方面出图一般，很多节气不明所以。中国菜的表现非常好，用过SD生图的同学肯定见过普通模型的生图有多么感人，混元的效果无论从图片的样式、构图，甚至美观度方面，基本可以直接用于海报，配合ComfyUI的文字插件，直出海报的成功率非常高。看的都饿了！
腾讯推出了其混元文生图大模型
aigchouse的博客
06-11 380
该模型采用了业内首个中文原生DiT架构，此次开源，腾讯不仅提供了模型权重和推理代码，还包括了完整的模型算法，使得企业和个人开发者可以免费商用。腾讯此次选择将混元文生图模型全面开源，旨在与行业共享其在文生图领域的实践经验和研究成果，丰富中文文生图开源生态，共建下一代视觉生成开源生态，推动。随着混元文生图大模型的发布和开源，我们有理由相信，这将极大地推动视觉生成技术的发展，为各行各业带来更多的创新可能。基于腾讯开源的文生图模型，开发者和企业无需从头训练，即可直接用于推理，从而节约大量人力和算力。
dit-fft.c.zip_dit-fft_fft.c_makingbis
09-19
在标题“dit-fft.c.zip_dit-fft_fft.c_makingbis”中，"dit-fft"指的是分治算法实现的FFT，而"fft.c"则表明包含了一个名为"fft.c"的C语言源代码文件，该文件很可能实现了FFT算法。"makingbis"可能是编译或构建过程的...
DIT-BLOG-WAGTAIL：达喀尔技术学院博客
02-28
【DIT-BLOG-WAGTAIL：达喀尔技术学院博客】是一个基于Wagtail CMS（内容管理系统）构建的项目，旨在提供一个平台，用于分享、传播和讨论与信息技术相关的知识，特别是关注达喀尔技术学院的教育和技术动态。...
PyPI 官网下载 | daml-dit-ddit-0.6.4.tar.gz
01-10
标题中的"PyPI 官网下载 | daml-dit-ddit-0.6.4.tar.gz"表明这是一个从Python Package Index（PyPI）官方源下载的软件包，名为`daml-dit-ddit-0.6.4.tar.gz`。PyPI是Python社区广泛使用的第三方库分发平台，开发者...
Python库 | dit-cli-0.2.0.tar.gz
04-08
资源分类：Python库 所属语言：Python 资源全名：dit-cli-0.2.0.tar.gz 资源来源：官方 安装方法：https://lanzao.blog.csdn.net/article/details/101784059
时间抽取：使用 DIT 的 FFT-matlab开发
05-29
在本文中，我们将深入探讨如何使用MATLAB进行时间抽取法(Decimation-In-Time, DIT)的快速傅立叶变换(FFT)。MATLAB是一种强大的数值计算环境，它提供了丰富的函数库来处理各种数学问题，包括信号处理和频谱分析。时间...
【资源分享】官网openai/clip-vit-large-patch14下载太慢？完整资源分享
BetrayFree的博客
10-29 3236
链接: https://pan.baidu.com/s/1wWGhkLfK7a4Q3CPywhgicg?pwd=ewxd 提取码: ewxd。【资源分享】官网openai/clip-vit-large-patch14下载太慢？--来自百度网盘超级会员v6的分享。
又一个大模型开源了！这次是腾讯，文生图免费商用
python12345678_的博客
05-18 1600
5 月 14 日，腾讯宣布旗下混元文生图大模型全面升级并全面开源，目前已在 Hugging Face 平台及 GitHub 上发布，包含模型权重、推理代码、模型算法等完整模型，可供企业与个人开发者免费商用。据了解，这是，支持中英文双语输入及理解，参数量 15 亿。升级后的混元文生图大模型采用了与 Sora 一致的 DiT 架构，即，不仅可以支持文生图，也可以作为视频等多模态视觉生成的基础。
腾讯混元文生图开源模型推理时间缩短75%，可支持ComfyUI图形化工作流
最新发布
m0_68969027的博客
06-26 72
用户无需将原始代码库下载与部署到自身环境，安装了Diffusers库的开发者，仅需要运行几行代码，即可调用混元DiT模型，配置与调用都十分方便。腾讯文生图负责人芦清林表示：“腾讯混元文生图模型开源之后得到了众多开发者的支持和反馈，我们十分高兴，也同时在针对开发者的反馈与社区一起完善和优化基于混元DiT的开源生态，让更多开发者能更便利地享受到最新的研究成果。ComfyUI是一款文生图领域的WebUI界面设计，它将文生图领域的扩散算法模块化与图形化，提升了生成效率与资源利用率，也大幅降低了开发者的使用门槛。
MacBook Air M3 Docker部署ComfyUI
Richard_Mei的博客
05-17 899
MacBook Air M3 Docker本地部署ComfyUI
Comfyui容器化部署与简介
Qinghub‘博客
06-06 1264
目前使用 Stable Diffusion 进行创作的工具主要有两个：Stable Diffusion WebUI 和 ComfyUI。本文重点介绍ComfyUI的部署使用。 ComfyUI 可定制性很强，可以让创作者搞出各种新奇的玩意，通过工作流的方式，也可以实现更高的自动化水平，创作方法更容易传播复现，支持多任务批量提交到comfyui，支持websocket对接。 但是 ComyUI 的上手门槛有点高，对 Stable Diffusion 以及各种扩展能力的原理需要有一定的理解，动手能力要求也比较高。
ComfyUI-常见插件安装说明以及地址
xzpdxz的博客
06-16 290
ComfyUI常见插件安装说明以及地址
matlab得DIT基2-FFT算法设计
12-09
以下是MATLAB实现DIT基2-FFT算法的代码： ```matlab function X = fft_dit_2(x) % DIT基2-FFT算法 N = length(x); if N == 1 X = x; else X = zeros(1, N); X(1:N/2) = fft_dit_2(x(1:2:N-1)) + exp(-2*pi*1i*(0:N/2-1)/N).*fft_dit_2(x(2:2:N)); X(N/2+1:N) = fft_dit_2(x(1:2:N-1)) - exp(-2*pi*1i*(0:N/2-1)/N).*fft_dit_2(x(2:2:N)); end end ``` 其中，x为输入序列，X为输出序列。该算法使用了递归的思想，将序列分为两部分，分别进行FFT计算，最后合并得到结果。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值