ComfyUI实时绘画 与Krita联动 详细教程

Krita

https://krita.org/zh-cn/

krita-ai-diffusion

https://github.com/Acly/krita-ai-diffusion

krita和krita-ai-diffusion两者的关系

1krita是绘画软件

1krita-ai-diffusion是krita的插件, 装了这个插件, krita就能调用comfyui画画

下载krita和krita-ai-diffusion

目录树如下

Krita必装插件和模型 ├─ 插件 │ ├─ comfyui-inpaint-nodes-main.zip │ ├─ comfyui-tooling-nodes-main.zip │ ├─ comfyui_controlnet_aux-main.zip │ └─ ComfyUI_IPAdapter_plus-main.zip         ├─ 模型 │ └─ models │ ├─ clip_vision │ │ └─ clip-vision_vit-h.safetensors │ ├─ controlnet │ │ ├─ control_lora_rank128_v11f1e_sd15_tile_fp16.safetensors │ │ └─ control_v11p_sd15_inpaint_fp16.safetensors │ ├─ inpaint │ │ ├─ fooocus_inpaint_head.pth │ │ ├─ inpaint_v26.fooocus.patch │ │ └─ MAT_Places512_G_fp16.safetensors │ ├─ ipadapter │ │ ├─ ip-adapter_sd15.safetensors │ │ └─ ip-adapter_sdxl_vit-h.safetensors │ ├─ loras │ │ ├─ Hyper-SD15-8steps-CFG-lora.safetensors │ │ └─ Hyper-SDXL-8steps-CFG-lora.safetensors │ └─ upscale_models │ ├─ 4x_NMKD-Superscale-SP_178000_G.pth │ ├─ OmniSR_X2_DIV2K.safetensors │ ├─ OmniSR_X3_DIV2K.safetensors │ └─ OmniSR_X4_DIV2K.safetensors ├─ krita-x64-5.2.6-setup.exe └─ krita_ai_diffusion-1.29.0.zip

为什么还要下模型文件?

因为你不下的话, krita-ai-diffusion就会报错.

模型的安装方法

你刚才不是下载了文件嘛, 文件里面有个models的文件夹, Krita必装插件和模型\模型\models

你直接复制models文件夹, 然后在ComfyUI的文件夹ComfyUI,

直接粘贴,

可能有的模型文件, 你本地已经有了, 你可以选择覆盖或者跳过, 都可以.

在Krita中安装插件krita-ai-diffusion

工具/ 脚本/ 从文件导入Python插件,

选择你刚才下载的文件里面的krita_ai_diffusion-1.29.0.zip

会问你是否导入, 点击是, 然后重启Krita

启用插件

设置/ 面板列表/ 勾选 AI Image Generation

Krita右下角会出现

在Krita中连接ComfyUI

点击配置按钮 Configure

选择Custom Server

在Server Url中填写你本地的ComfyUI链接

点击右侧的Connect

成功的话, 就会出现绿色的Connected

Krita使用的工作流

ComfyUI的搜索框中输入krita, 会出来一堆Krita的节点.

1output就是保存图像

选择Graph

点击倒数第二个按钮, 会打开你的comfyui.

然后就会看到工作流的控制参数

1正向提示词

这个正向提示词怎么出现的呢?

因为工作流使用了插件comfyui-tooling-nodes的节点Parameter

修改了name参数, 这样这个节点的值, 就由Krita界面上的, 正向提示词的输入框来决定了.

比如我们写一只猫

点击Generate

就会出现一只猫

而且, 猫的形状是由我刚才画的线条来决定的.

如果我提示词改为, 一只狗

你发现狗不符合刚才的涂鸦, 这可能是你的工作流选错了.

现在下拉菜单由三个工作流, 你知道哪个是哪个吗?

你肯定不知道.

怎么办呢? 点击右边的倒数第二个按钮, Open Web Ui to create custom workflow.

这个时候, 会打开comfyui的网页,

这个里面的工作流, 就是krita当前连接的工作流.

然后你可以随意编写工作流.

工作流中各种参数控制

控制参数使用的是这个节点

这个节点里面有个name,

比如

对应的就是Krita右下角的正向提示词

涂鸦对应的是

就是把她当做遮罩层来使用.

上面两个节点

1一个是文字

1一个是图像

这个节点是输出Krita画板的宽高

她给了潜空间, 那么潜空间的宽高就由Krita决定.

最后保存图像, 使用Krita Output

Krita联动ComfyUI整体思路

Krita控制参数和遮罩或者图像, 这属于工作流的输入,

然后ComfyUI使用这些参数遮罩或者图像, 生成新的图像, 这是工作流的输出,

然后把图像返回给Krita.

这就是整个流程.
为了帮助大家更好地掌握 ComfyUI，我在去年花了几个月的时间，撰写并录制了一套ComfyUI的基础教程，共六篇。这套教程详细介绍了选择ComfyUI的理由、其优缺点、下载安装方法、模型与插件的安装、工作流节点和底层逻辑详解、遮罩修改重绘/Inpenting模块以及SDXL工作流手把手搭建。

由于篇幅原因，本文精选几个章节，详细版点击下方卡片免费领取

一、ComfyUI配置指南

• 报错指南
• 环境配置
• 脚本更新
• 后记
• …

二、ComfyUI基础入门

• 软件安装篇
• 插件安装篇
• …

三、 ComfyUI工作流节点/底层逻辑详解

• ComfyUI 基础概念理解
• Stable diffusion 工作原理
• 工作流底层逻辑
• 必备插件补全
• …

四、ComfyUI节点技巧进阶/多模型串联

• 节点进阶详解
• 提词技巧精通
• 多模型节点串联
• …

五、ComfyUI遮罩修改重绘/Inpenting模块详解

• 图像分辨率
• 姿势
• …

六、ComfyUI超实用SDXL工作流手把手搭建

• Refined模型
• SDXL风格化提示词
• SDXL工作流搭建
• …

由于篇幅原因，本文精选几个章节，详细版点击下方卡片免费领取