AI绘画工具Stable Diffusion+ComfyUI的配置

最新推荐文章于 2024-08-15 23:23:49 发布

HarmonyOS龙哥

最新推荐文章于 2024-08-15 23:23:49 发布

阅读量904

点赞数 29

本文链接：https://blog.csdn.net/2401_83048197/article/details/141183425

版权

在这里插入图片描述

ComfyUI 是一个基于图形用户界面的开源工具，用于搭建和运行复杂的图像生成和处理工作流。它主要围绕使用 Stable Diffusion 模型来生成高质量的图像。这种工具通常允许用户通过拖放不同的模块或节点，定义数据处理和生成流程，然后通过这些流程生成图像。

ComfyUI 的核心功能包括

图形化工作流设计：用户可以通过连接不同的模块或节点（例如，模型加载、图像处理、生成等）来构建自定义的图像生成流程。
支持多种模型和处理方法：ComfyUI 支持各种深度学习模型，特别是那些基于扩散模型（如 Stable Diffusion）的图像生成模型。
可视化调试和调整：用户可以在工作流运行时可视化地查看每个步骤的输出，并进行实时调整。
开源与可扩展：作为开源工具，用户可以根据需要自定义和扩展 ComfyUI，以适应特定的应用需求。

使用场景

艺术创作：ComfyUI 是许多数字艺术家的工具，可以用来创建独特的图像、插图、海报等。它允许你尝试不同的模型、风格和图像处理方法，以实现创意表达。
图像生成研究：对于研究者而言，ComfyUI 提供了一个友好的平台来测试和验证不同的图像生成模型和算法。在图形化的环境中调整参数和查看结果，可以更直观地理解模型行为。
游戏与动画设计：ComfyUI 也可以用于游戏开发或动画制作中的图像生成部分。通过自定义生成管道，你可以创建各种游戏场景或动画背景图像。

本文演示配置：GPU：NVIDIA GeForce RTX 2060 (6 GB)，这配置也能跑起来，速度还行。

需要安装 python，cuda

1. windows下 python安装

1.1 下载 Python

访问 Python 官方网站，下载适合你系统的 Python 安装包。建议使用 Python 3.9 或 3.10 版本，因为这些版本通常与许多深度学习库兼容性最好。

1.2 安装 Python

运行下载的安装包，在安装向导中务必勾选 “Add Python to PATH” 选项，以便在命令行中可以直接使用 Python。
完成安装后，可以打开命令行，输入以下命令来验证是否安装成功：
```
1python --version  
```
它应该输出你安装的 Python 版本号。

2. 安装 CUDA

CUDA 是 NVIDIA 开发的一种并行计算平台和编程模型，它能够利用 GPU 加速深度学习模型的计算。如果你计划使用 GPU 加速，那么需要安装 CUDA。

2.1 检查 GPU 支持

首先，确保你的计算机有 NVIDIA GPU，并且支持 CUDA。你可以在 NVIDIA 的 CUDA GPUs 支持列表中确认你的 GPU 是否支持。

2.2 下载 CUDA Toolkit

访问 NVIDIA CUDA Toolkit 下载页面，选择与你的操作系统和硬件匹配的 CUDA Toolkit 版本（通常建议安装最新稳定版）。

2.3 安装 CUDA Toolkit

根据下载页面上的说明安装 CUDA Toolkit。通常包括安装 CUDA 本身以及 NVIDIA 驱动程序。在这里插入图片描述

在这里插入图片描述

完成安装后，可以通过运行以下命令来验证安装：
```
1nvcc --version  
```
它应该输出 CUDA 版本信息。

3. 安装 Python 库（例如 PyTorch）

安装好 Python 和 CUDA 后，你需要安装 PyTorch 等深度学习框架来运行模型。你可以使用以下命令安装带有 CUDA 支持的 PyTorch：

1pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118

这里 cu118 是指 CUDA 11.8 的版本，你可以根据你安装的 CUDA 版本调整。

4. 安装 ComfyUI

最后，在虚拟环境中，克隆 ComfyUI 的代码库并安装所需的依赖项：

1git clone https://github.com/comfyanonymous/ComfyUI.git  
2cd ComfyUI

ComfyUI 安装完成后，默认情况下是没有预装的模型和工作流的。你需要手动下载和导入你想使用的模型，并且可以从社区或者自己创建工作流。以下是如何获取和导入模型及工作流的步骤：

5. 获取模型

5.1 下载预训练模型

通常要使用像 Stable Diffusion 这样的预训练模型。你可以从以下几个地方下载这些模型：

Hugging Face Model Hub：很多深度学习模型，包括 Stable Diffusion，都会在 Hugging Face 上托管。你可以直接从Hugging Face下载模型权重文件（通常是 .ckpt 或者 .safetensors 格式）。
演示在Hugging Face官网下载 stable-diffusion-3-medium模型, 下载如下图的safetensors文件，可以把四个都下载下来。

image-20240809130210263
社区资源：在 ComfyUI 的 GitHub 页面或相关社区（如 Discord 群组或 Reddit 论坛）中，常常有人会分享已经适配 ComfyUI 的模型文件。

5.2 导入模型

下载完成后，你需要将模型文件放到 ComfyUI 的模型目录中，以便在工作流中加载使用。

假设你下载了一个 Stable Diffusion 模型文件 model.ckpt，你可以按照以下步骤操作：

创建或确认 ComfyUI 安装目录下是否有一个ComfyUI\models\checkpoints 目录。
将 .safetensors 文件放入这个目录。
在 ComfyUI 中，加载模型时，你应该能在模型加载节点中选择刚才导入的模型。

6. 获取和导入工作流

6.1 下载或创建工作流

如果你想使用现成的工作流，你可以从以下几个地方获取：

GitHub：许多用户会在 GitHub 上分享他们创建的 ComfyUI 工作流配置文件（通常是 .json 格式）。
社区分享：在 ComfyUI 的用户社区中，用户们可能会分享他们的工作流。

你也可以自行创建工作流，并在 ComfyUI 中保存为 JSON 文件。

这里演示自带的三个工作流，在comfy_example_workflows目录中有三个工作流，下载下来。在这里插入图片描述

6.2 导入工作流

如果你已经下载了一个工作流文件，可以按照以下步骤导入：

打开 ComfyUI 的界面。
在菜单栏中找到“导入”或“加载工作流”选项（具体名称可能因版本而异），选择你下载的工作流文件。

7.安装comfyUI插件

**插件1：**管理器：https://github.com/ltdrdata/ComfyUI-Manager

插件2： 汉化包：https://github.com/AIGODLIKE/AIGODLIKE-COMFYUI-TRANSLATION

下载后解压并修改文件夹名称：（删掉文件夹后面的-main，github自带的main）

并且将这两个文件夹直接放到ComfyUI/custom_nodes文件夹中。在这里插入图片描述

8. 启动comfyUI，

将模型和工作流放入到comfyUI目录的相应位置后，就可以启动comfyUI了。

在这里插入图片描述

双击bat文件即可启动。

设置中文管理器

在这里插入图片描述

安装缺失节点在这里插入图片描述

安装模型4x-ultraSharp 在这里插入图片描述

要重启一下界面，点击重启按钮

9. 测试

打开面板之后，先选择一个workflow，我们选basic的一个试试在这里插入图片描述

然后再Load Models中选择下载的模型：

注意，然后修改clip连接，直接从模型的clip处连接到clip文本编辑处，如下图两条黄色的线：

在这里插入图片描述

然后修改提示词，或者使用默认的提示词。

然后点击执行队列或者添加提示词队列，就能出图了：在这里插入图片描述

至此，就大功告成。

其他流程（workflow）

workflow galary：https://openart.ai/workflows/all

这里可以下载一些其他流程，下载后放到custom_nodes文件夹中，就能导入了。

其他的工具

1. DiffusionBee

概述: 专为 macOS 用户设计的简化版 Stable Diffusion 应用，易于安装和使用。
功能: 支持生成、模型管理、参数调整等基础功能，特别适合不愿意处理复杂安装过程的用户。
安装和使用: 可以直接下载并安装，无需复杂设置。
**地址：**https://diffusionbee.com/

2. DreamStudio (by Stability AI)

概述: 由 Stable Diffusion 背后的团队开发的官方前端，提供了一个基于 Web 的图像生成平台。
功能: 支持图像生成、文本到图像的转换、调整生成参数等。它更侧重于云端运行，适合没有强大本地硬件的用户。
使用: 注册一个账户后，可以直接在浏览器中使用。

3. Automatic1111 WebUI

概述: 这是最流行的 Stable Diffusion 前端之一，提供了丰富的功能，包括图像生成、模型管理、扩展和插件支持等。
功能: 可以轻松切换不同的 Stable Diffusion 模型、使用预设、调整推理参数，支持大量的附加功能如 Inpainting、Outpainting、文本嵌入、Lora 模型等。
安装和使用: 可以通过 GitHub 安装并运行在本地计算机上。

4. StableStudio

概述: 由 Stability AI 推出的开源工具，可以与 Stable Diffusion 及其他模型进行集成和管理。
功能: 灵活的插件系统、可扩展的用户界面、支持本地和云端部署等。适合开发者和高级用户。
使用: 通过 GitHub 获取源代码进行本地部署，或使用官方提供的云服务。
**地址：**https://github.com/Stability-AI/StableStudio

Stable Diffusion的不同用户界面（如Stable-Diffusion Web UI、ComfyUI等）提供了不同的功能和使用方式，每一个模型或配置都有其特定的workflow或设置要求。如果随意使用不兼容的workflow或配置，可能会导致错误或结果不如预期。

具体来说：

模型和配置的兼容性：不同的模型（如不同的版本或经过微调的模型）可能需要特定的配置和workflow来发挥其最佳效果。例如，一些模型可能需要特定的输入格式、预处理步骤或参数设置。
Workflow的兼容性：在一些UI工具（如ComfyUI）中，workflow可能包含多个步骤和模块，每个模块可能对应模型的特定输入、输出或处理方式。如果你随意更改这些模块或使用与模型不兼容的workflow，可能会导致运行错误或生成的图像质量不佳。
错误处理：大多数UI工具在遇到不兼容的workflow时，通常会抛出错误提示。这些提示可以帮助你识别问题所在，并进行调整。

为了帮助大家更好地掌握 ComfyUI，我在去年花了几个月的时间，撰写并录制了一套ComfyUI的基础教程，共六篇。这套教程详细介绍了选择ComfyUI的理由、其优缺点、下载安装方法、模型与插件的安装、工作流节点和底层逻辑详解、遮罩修改重绘/Inpenting模块以及SDXL工作流手把手搭建。