stable-diffusion 3 体验部署流程（ComfyUI)

最新推荐文章于 2024-06-26 10:35:35 发布
最新推荐文章于 2024-06-26 10:35:35 发布
阅读量683 收藏 5
点赞数 4
文章标签： stable diffusion
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_44624290/article/details/139700148
版权
环境准备
下载及简介

git clone https://huggingface.co/stabilityai/stable-diffusion-3-medium
SD3 checkpoints：

  1. sd3_medium_incl_clips.safetensors (5.5GB)
  2. sd3_medium_incl_clips_t5xxlfp8.safetensors (10.1GB)
  3. sd3_medium.safetensors (4.3GB)

前两个可以像 ComfyUI 中的任何常规checkpoints一样使用。这两个checkpoints之间的区别在于，第一个仅包含 2 个文本编码器：CLIP-L 和 CLIP-G，第二个包含 3 个：CLIP-L、CLIP-G 和 T5XXL。第三个模型不包含文本编码器，必须单独加载它们才能使用该文件。

模型保存

把如下三个模型放在 ComfyUI/models/checkpoints/ 目录中（可以选择其中一个模型体验）

  • sd3_medium_incl_clips.safetensors
  • sd3_medium_incl_clips_t5xxlfp8.safetensors
  • sd3_medium.safetensors
文本编码器保存

从text_encoders目录下载文本编码器，选择其中的一个文件保存到ComfyUI/models/clip/目录中：

  • clip_g.safetensors
  • clip_l.safetensors
  • t5xxl_fp8_e4m3fn.safetensors
  • t5xxl_fp16.safetensors
ComfyUI 测试体验

打开comfyui 界面 导入脚本并执行：

{
  "last_node_id": 272,
  "last_link_id": 599,
  "nodes": [
    {
      "id": 11,
      "type": "TripleCLIPLoader",
      "pos": [
        -1885,
        -49
      ],
      "size": {
        "0": 315,
        "1": 106
      },
      "flags": {},
      "order": 0,
      "mode": 0,
      "outputs": [
        {
          "name": "CLIP",
          "type": "CLIP",
          "links": [
            5,
            94
          ],
          "shape": 3,
          "slot_index": 0
        }
      ],
      "properties": {
        "Node name for S&R": "TripleCLIPLoader"
      },
      "widgets_values": [
        "clip_g.safetensors",
        "clip_l.safetensors",
        "t5xxl_fp8_e4m3fn.safetensors"
      ]
    },
    {
      "id": 71,
      "type": "CLIPTextEncode",
      "pos": [
        -1869.2871546875003,
        560.071803930664
      ],
      "size": {
        "0": 380.4615783691406,
        "1": 102.07693481445312
      },
      "flags": {},
      "order": 6,
      "mode": 0,
      "inputs": [
        {
          "name": "clip",
          "type": "CLIP",
          "link": 94
        }
      ],
      "outputs": [
        {
          "name": "CONDITIONING",
          "type": "CONDITIONING",
          "links": [
            93,
            580
          ],
          "shape": 3,
          "slot_index": 0
        }
      ],
      "title": "CLIP Text Encode (Negative Prompt)",
      "properties": {
        "Node name for S&R": "CLIPTextEncode"
      },
      "widgets_values": [
        "bad quality, poor quality, doll, disfigured, jpg, toy, bad anatomy, missing limbs, missing fingers, 3d, cgi"
      ],
      "color": "#322",
      "bgcolor": "#533"
    },
    {
      "id": 68,
      "type": "ConditioningSetTimestepRange",
      "pos": [
        -1010,
        167
      ],
      "size": {
        "0": 317.4000244140625,
        "1": 82
      },
      "flags": {},
      "order": 10,
      "mode": 0,
      "inputs": [
        {
          "name": "conditioning",
          "type": "CONDITIONING",
          "link": 90
        }
      ],
      "outputs": [
        {
          "name": "CONDITIONING",
          "type": "CONDITIONING",
          "links": [
            91
          ],
          "shape": 3,
          "slot_index": 0
        }
      ],
      "properties": {
        "Node name for S&R": "ConditioningSetTimestepRange"
      },
      "widgets_values": [
        0.1,
        1
      ]
    },
    {
      "id": 70,
      "type": "ConditioningSetTimestepRange",
      "pos": [
        -1006,
        314
      ],
      "size": {
        "0": 317.4000244140625,
        "1": 82
      },
      "flags": {},
      "order": 8,
      "mode": 0,
      "inputs": [
        {
          "name": "conditioning",
          "type": "CONDITIONING",
          "link": 93,
          "slot_index": 0
        }
      ],
      "outputs": [
        {
          "name": "CONDITIONING",
          "type": "CONDITIONING",
          "links": [
            92
          ],
          "shape": 3,
          "slot_index": 0
        }
      ],
      "properties": {
        "Node name for S&R": "ConditioningSetTimestepRange"
      },
      "widgets_values": [
        0,
        0.1
      ]
    },
    {
      "id": 67,
      "type": "ConditioningZeroOut",
      "pos": [
        -1370,
        337
      ],
      "size": {
        "0": 211.60000610351562,
        "1": 26
      },
      "flags": {},
      "order": 9,
      "mode": 0,
      "inputs": [
        {
          "name": "conditioning",
          "type": "CONDITIONING",
          "link": 580
        }
      ],
      "outputs": [
        {
          "name": "CONDITIONING",
          "type": "CONDITIONING",
          "links": [
            90
          ],
          "shape": 3,
          "slot_index": 0
        }
      ],
      "properties": {
        "Node name for S&R": "ConditioningZeroOut"
      }
    },
    {
      "id": 266,
      "type": "Note",
      "pos": [
        -2352,
        576
      ],
      "size": {
        "0": 308.061279296875,
        "1": 102.86902618408203
      },
      "flags": {},
      "order": 1,
      "mode": 0,
      "properties": {
        "text": ""
      },
      "widgets_values": [
        "Resolution should be around 1 megapixel and width/height must be multiple of 64"
      ],
      "color": "#432",
      "bgcolor": "#653"
    },
    {
      "id": 13,
      "type": "ModelSamplingSD3",
      "pos": [
        -974,
        -220
      ],
      "size": {
        "0": 315,
        "1": 58
      },
      "flags": {
        "collapsed": false
      },
      "order": 7,
      "mode": 0,
      "inputs": [
        {
          "name": "model",
          "type": "MODEL",
          "link": 565
        }
      ],
      "outputs": [
        {
          "name": "MODEL",
          "type": "MODEL",
          "links": [
            591
          ],
          "shape": 3,
          "slot_index": 0
        }
      ],
      "properties": {
        "Node name for S&R": "ModelSamplingSD3"
      },
      "widgets_values": [
        3
      ]
    },
    {
      "id": 69,
      "type": "ConditioningCombine",
      "pos": [
        -662,
        165
      ],
      "size": {
        "0": 228.39999389648438,
        "1": 46
      },
      "flags": {},
      "order": 11,
      "mode": 0,
      "inputs": [
        {
          "name": "conditioning_1",
          "type": "CONDITIONING",
          "link": 91
        },
        {
          "name": "conditioning_2",
          "type": "CONDITIONING",
          "link": 92
        }
      ],
      "outputs": [
        {
          "name": "CONDITIONING",
          "type": "CONDITIONING",
          "links": [
            592
          ],
          "shape": 3,
          "slot_index": 0
        }
      ],
      "properties": {
        "Node name for S&R": "ConditioningCombine"
      }
    },
    {
      "id": 233,
      "type": "PreviewImage",
      "pos": [
        535.1143750722272,
        -147.92548481673106
      ],
      "size": {
        "0": 604.7489624023438,
        "1": 592.15576171875
      },
      "flags": {},
      "order": 14,
      "mode": 0,
      "inputs": [
        {
          "name": "images",
          "type": "IMAGE",
          "link": 599
        }
      ],
      "properties": {
        "Node name for S&R": "PreviewImage"
      }
    },
    {
      "id": 231,
      "type": "VAEDecode",
      "pos": [
        141,
        -177
      ],
      "size": {
        "0": 210,
        "1": 46
      },
      "flags": {},
      "order": 13,
      "mode": 0,
      "inputs": [
        {
          "name": "samples",
          "type": "LATENT",
          "link": 596
        },
        {
          "name": "vae",
          "type": "VAE",
          "link": 557
        }
      ],
      "outputs": [
        {
          "name": "IMAGE",
          "type": "IMAGE",
          "links": [
            599
          ],
          "shape": 3,
          "slot_index": 0
        }
      ],
      "properties": {
        "Node name for S&R": "VAEDecode"
      }
    },
    {
      "id": 252,
      "type": "CheckpointLoaderSimple",
      "pos": [
        -2314,
        -203
      ],
      "size": {
        "0": 746.7357788085938,
        "1": 98
      },
      "flags": {},
      "order": 2,
      "mode": 0,
      "outputs": [
        {
          "name": "MODEL",
          "type": "MODEL",
          "links": [
            565
          ],
          "shape": 3,
          "slot_index": 0
        },
        {
          "name": "CLIP",
          "type": "CLIP",
          "links": [],
          "shape": 3,
          "slot_index": 1
        },
        {
          "name": "VAE",
          "type": "VAE",
          "links": [
            557
          ],
          "shape": 3,
          "slot_index": 2
        }
      ],
      "properties": {
        "Node name for S&R": "CheckpointLoaderSimple"
      },
      "widgets_values": [
        "sdv3/2b_1024/sd3_medium.safetensors"
      ]
    },
    {
      "id": 271,
      "type": "KSampler",
      "pos": [
        -269,
        -179
      ],
      "size": {
        "0": 315,
        "1": 446
      },
      "flags": {},
      "order": 12,
      "mode": 0,
      "inputs": [
        {
          "name": "model",
          "type": "MODEL",
          "link": 591
        },
        {
          "name": "positive",
          "type": "CONDITIONING",
          "link": 595
        },
        {
          "name": "negative",
          "type": "CONDITIONING",
          "link": 592
        },
        {
          "name": "latent_image",
          "type": "LATENT",
          "link": 593
        },
        {
          "name": "seed",
          "type": "INT",
          "link": 597,
          "widget": {
            "name": "seed"
          },
          "slot_index": 4
        }
      ],
      "outputs": [
        {
          "name": "LATENT",
          "type": "LATENT",
          "links": [
            596
          ],
          "shape": 3,
          "slot_index": 0
        }
      ],
      "properties": {
        "Node name for S&R": "KSampler"
      },
      "widgets_values": [
        945512652412924,
        "fixed",
        28,
        4.5,
        "dpmpp_2m",
        "sgm_uniform",
        1
      ]
    },
    {
      "id": 135,
      "type": "EmptySD3LatentImage",
      "pos": [
        -2352,
        438
      ],
      "size": {
        "0": 315,
        "1": 106
      },
      "flags": {},
      "order": 3,
      "mode": 0,
      "inputs": [],
      "outputs": [
        {
          "name": "LATENT",
          "type": "LATENT",
          "links": [
            593
          ],
          "shape": 3,
          "slot_index": 0
        }
      ],
      "properties": {
        "Node name for S&R": "EmptySD3LatentImage"
      },
      "widgets_values": [
        1024,
        1024,
        1
      ]
    },
    {
      "id": 6,
      "type": "CLIPTextEncode",
      "pos": [
        -1876.2871546875003,
        284.0718039306641
      ],
      "size": {
        "0": 389.06927490234375,
        "1": 207.84902954101562
      },
      "flags": {},
      "order": 5,
      "mode": 0,
      "inputs": [
        {
          "name": "clip",
          "type": "CLIP",
          "link": 5
        }
      ],
      "outputs": [
        {
          "name": "CONDITIONING",
          "type": "CONDITIONING",
          "links": [
            595
          ],
          "shape": 3,
          "slot_index": 0
        }
      ],
      "properties": {
        "Node name for S&R": "CLIPTextEncode"
      },
      "widgets_values": [
        "a female character with long, flowing hair that appears to be made of ethereal, swirling patterns resembling the Northern Lights or Aurora Borealis. The background is dominated by deep blues and purples, creating a mysterious and dramatic atmosphere. The character's face is serene, with pale skin and striking features. She wears a dark-colored outfit with subtle patterns. The overall style of the artwork is reminiscent of fantasy or supernatural genres"
      ],
      "color": "#232",
      "bgcolor": "#353"
    },
    {
      "id": 272,
      "type": "PrimitiveNode",
      "pos": [
        -2342,
        278
      ],
      "size": {
        "0": 210,
        "1": 82
      },
      "flags": {},
      "order": 4,
      "mode": 0,
      "outputs": [
        {
          "name": "INT",
          "type": "INT",
          "links": [
            597
          ],
          "slot_index": 0,
          "widget": {
            "name": "seed"
          }
        }
      ],
      "title": "Seed",
      "properties": {
        "Run widget replace on values": false
      },
      "widgets_values": [
        945512652412924,
        "fixed"
      ]
    }
  ],
  "links": [
    [
      5,
      11,
      0,
      6,
      0,
      "CLIP"
    ],
    [
      90,
      67,
      0,
      68,
      0,
      "CONDITIONING"
    ],
    [
      91,
      68,
      0,
      69,
      0,
      "CONDITIONING"
    ],
    [
      92,
      70,
      0,
      69,
      1,
      "CONDITIONING"
    ],
    [
      93,
      71,
      0,
      70,
      0,
      "CONDITIONING"
    ],
    [
      94,
      11,
      0,
      71,
      0,
      "CLIP"
    ],
    [
      557,
      252,
      2,
      231,
      1,
      "VAE"
    ],
    [
      565,
      252,
      0,
      13,
      0,
      "MODEL"
    ],
    [
      580,
      71,
      0,
      67,
      0,
      "CONDITIONING"
    ],
    [
      591,
      13,
      0,
      271,
      0,
      "MODEL"
    ],
    [
      592,
      69,
      0,
      271,
      2,
      "CONDITIONING"
    ],
    [
      593,
      135,
      0,
      271,
      3,
      "LATENT"
    ],
    [
      595,
      6,
      0,
      271,
      1,
      "CONDITIONING"
    ],
    [
      596,
      271,
      0,
      231,
      0,
      "LATENT"
    ],
    [
      597,
      272,
      0,
      271,
      4,
      "INT"
    ],
    [
      599,
      231,
      0,
      233,
      0,
      "IMAGE"
    ]
  ],
  "groups": [
    {
      "title": "Load Models",
      "bounding": [
        -2410,
        -339,
        969,
        488
      ],
      "color": "#3f789e",
      "font_size": 24
    },
    {
      "title": "Input",
      "bounding": [
        -2409,
        181,
        972,
        523
      ],
      "color": "#3f789e",
      "font_size": 24
    },
    {
      "title": "Output",
      "bounding": [
        464,
        -273,
        741,
        814
      ],
      "color": "#3f789e",
      "font_size": 24
    }
  ],
  "config": {},
  "extra": {},
  "version": 0.4
}

测试结果展示
image.png
image.png
image.png
image.png
image.png
image.png

Ρause
关注
  • 4
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Stable Diffusion 3 ComfyUI基础工作流保姆级详解 | 全网最全SD3解析
2401_84830464的博客
06-29 1278
Stable Diffusion 3 已经发布！就在 6 月 12 日，Stable Diffusion 3 的媒体模型终于开放下载。虽然在 Web UI 上还没有提供体验可以体验的方式，但我们已经可以通过Comfy UI来尝试最新的 Stable Diffusion 3 模型。这篇文章作者将详细介绍如何在Comfy UI 中部署和使用这个新模型。
ComfyUI中使用 SD3 模型（附模型下载详细说明）
fanfanfan的博客
06-15 2301
其中，t5xxl类型的文本编码器有助于增强模型对prompt的理解能力！如果想将文生图模型、文本编码器模型分开使用，那么，只需要下载文生图模型。目录添加到该配置文件夹中，修改完配置文件需要重启。以及文本编码器模型，所以下载下来直接使用即可。官方的测试prompt进行测试。，该模型拥有着20亿参数。模型并没有内嵌t5xxl类型的编码器。那么，这些模型该如何使用呢？文本编码器模型，那么可以下载。，然后将下载的编码器模型放在。节点来加载文本编码器模型。目录下，那么需要修改下。放一组官方的图体验下。
SD3开源 | 一场技术与创意的盛宴，邀你共赴（附安装方法和下载链接）
qq_45500095的博客
06-16 1364
SD3开源 | 一场技术与创意的盛宴，邀你共赴（附安装方法和下载链接）
【支持中文】stable-diffusion-3安装部署教程-SD3
CKLogic的博客
06-14 668
stable-diffusion-3 SD3的安装部署教程
AI之T2I：Stable Diffusion 3的简介、安装和使用方法、案例应用之详细攻略
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
02-25 7665
​ AI之T2I：Stable Diffusion 3的简介、安装和使用方法、案例应用之详细攻略 目录 Stable Diffusion 3的简介 Stable Diffusion 3的安装和使用方法 Stable Diffusion 3的案例应用 Stable Diffusion 3的简介 提示：夜晚，山顶上的巫师施展宇宙法术，将五彩能量投射到黑暗的天空中，上面写着“Stable Diffusion 3”的字样 2024年2月22日，发布早期预览版的Stable Diffusion
重磅！Stable Diffusion 3.0正式开源！史上最强AI绘画模型！（附安装方法和下载地址）
白帽阿叁的博客
06-13 3247
正如承诺的那样，Stability AI在6月12日正式开源了Stable Diffusion 3（Medium版本）！不愧是AI生图领域的“开源英雄”。接下来就讲讲，怎么在本地部署最新的Stable Diffusion 3，大致分为以下几步
一份保姆级的Stable Diffusion部署教程，开启你的炼丹之路 | 京东云技术团队
JDDTechTalk的博客
07-07 915
在经历了一系列的探索后，我为你总结出了一套零基础的、非常好上手的借助京东云GPU云主机部署安装Stable Diffusion WebUI以及相关工具和插件的保姆集教程，请查收。
Stable-Diffusion-WebUI（秋叶）和Stable-Diffusion–forge
05-10
百度网盘下载
stable-diffusion-webui codeformer.pth
03-11
stable-diffusion-webui Restore faces Error 【https://github.com/AUTOMATIC1111/stable-diffusion-webui/issues/1513】 我认为这与损坏的安装有关。就我而言，我在“\models\Codeformer”上的 Codeformer.pth 已...
Stable-Diffusion WEBUI 简体中文语言包（2023.05.30更新）
05-30
AI绘图，Stable-Diffusion WEBUI，本地化（简体中文）语言文件。 原始文件来自翻译插件，根据自己实际使用情况，增加和修改了一些翻译。 配合【双语插件】看上去要自然一点，内容还在继续完善中。 本次增加了一些...
stable-diffusion-webui-extensions 扩展
11-02
"stable-diffusion-webui-extensions" 是一个与人工智能绘画相关的扩展程序，主要应用于Web用户界面。这个扩展可能提供了一系列工具和功能，旨在提升用户在使用AI进行图像创作时的体验和效率。从描述来看，它非常...
AI-绘画的工具准备：Stable-Diffusion使用教程.pdf
06-03
AI-绘画的工具准备：Stable-Diffusion使用教程
Stable Diffusion 3 Medium 模型
风之羽
06-14 886
开源SD3，中型版本，20亿参数，Stable Diffusion 3 Medium，系统内存要求32G，显卡6G。
AI绘图的场景应用：文生图、图生图
qq_41314882的博客
03-15 1046
AIGC技术的未来发展前景广阔，随着人工智能技术的不断发展，AIGC技术也将不断提高。未来，AIGC技术将在游戏和计算领域得到更广泛的应用，使游戏和计算系统具有更高效、更智能、更灵活的特性。同时，AIGC技术也将与人工智能技术紧密结合，在更多的领域得到广泛应用，对程序员来说影响至关重要。未来，AIGC技术将继续得到提高，同时也将与人工智能技术紧密结合，在更多的领域得到广泛应用。感兴趣的小伙伴，赠送全套AIGC学习资料和安装工具，包含AI绘画、AI人工智能等前沿科技教程，模型插件，具体看下方。
手把手教你用 ComfyUI 部署 Stable diffusion 3：轻松打造AI绘画新境界
最新发布
小王的储物间
06-26 966
大家好我是AIGC小王！Stable Diffusion 3是由Stability AI公司开发的一款开源图像生成模型，它基于深度学习技术，能够在没有任何人类指导的情况下生成高质量、逼真的图像。与传统的图像生成技术相比，Stable Diffusion 3具有更高的生成质量和更快的生成速度。为什么要在本地部署Stable Diffusion 3？更好的性能：本地部署可以充分利用你电脑的硬件资源，提供更好的性能和更快的生成速度。
【AI绘画】Stable Diffusion 本地部署教程！小白必收藏！！
不定期分享ai绘画相关知识~
01-29 2035
最近看Stable Diffusion开源了，据说比Disco Diffusion更快，于是从git上拉取了项目尝试本地部署了，记录分享一下过程~这里是官网介绍：https://stability.ai/blog/stable-diffusion-public-release。
老电脑焕发第二春，玩转 Stable Diffusion 3
云水木石
06-16 1325
几年前，我头脑一热，配置了一台顶配级消费 PC（RTX 2080 Ti GPU + i9 CPU），打算用来学习 AI。然而，起初我并没有找到合适的切入点。深度学习早期阶段，消费级显卡根本无法承担训练大模型、微调大模型，甚至连运行大模型都很吃力。结果，这台电脑主要用来学习 TensorFlow、Python 编程等基础知识，但最后从入门到放弃。不过，当时配置的 CPU 和内存还不错，用来编译 Ch...
Linux环境下部署stable-diffusion
03-29
stable-diffusion是一个基于Python的网络扩散模型，用于模拟信息在网络中的传播过程。在Linux环境下部署stable-diffusion，需要遵循以下步骤： 1. 安装Python和pip stable-diffusion需要Python 3.6或更高版本，因此需要先在Linux系统中安装Python。可以使用以下命令在Ubuntu系统中安装Python： ``` sudo apt-get update sudo apt-get install python3.6 ``` 安装完成后，需要安装pip，它是Python包管理器，用于安装和管理Python包和依赖项。可以使用以下命令在Ubuntu系统中安装pip： ``` sudo apt-get install python3-pip ``` 2. 安装stable-diffusion 安装stable-diffusion可以通过pip来完成。打开终端，输入以下命令： ``` pip3 install stable-baselines3[extra] ``` 这将安装stable-diffusion和其所有的依赖项。 3. 运行stable-diffusion 安装完成后，可以使用以下命令运行stable-diffusion： ``` python3 stable-diffusion.py ``` 此时，stable-diffusion将在Linux系统上运行，并开始模拟信息在网络中的传播过程。 4. 其他配置 stable-diffusion还提供了许多其他的配置选项，可以通过修改配置文件来实现。可用的选项包括网络拓扑结构、信息传播速度、种子节点等。可以通过编辑配置文件stable-diffusion.yaml来修改这些配置选项。 以上就是在Linux环境下部署stable-diffusion的步骤，按照以上步骤操作即可轻松部署并运行stable-diffusion。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值