Krita-AI-Diffusion项目新增SDXL分割控制网络支持

Krita-AI-Diffusion项目新增SDXL分割控制网络支持

krita-ai-diffusion Streamlined interface for generating images with AI in Krita. Inpaint and outpaint with optional text prompt, no tweaking required. 项目地址: https://gitcode.com/gh_mirrors/kr/krita-ai-diffusion

在Krita-AI-Diffusion项目的最新进展中，开发团队为Stable Diffusion XL（SDXL）模型添加了分割控制网络（ControlNet）的支持功能。这一技术突破为数字艺术创作带来了更精细的图像控制能力。

技术背景

分割控制网络是一种特殊的神经网络结构，它能够识别图像中的不同语义区域（如人物、背景、物体等），并将这些分割信息作为条件输入到扩散模型中。这种技术在图像生成过程中提供了更精确的空间控制，使艺术家能够更好地指导AI生成特定区域的内容。

实现细节

项目团队最初发现了一个5GB大小的SDXL分割控制网络模型，该模型基于ADE20K数据集训练。虽然模型体积较大（可能采用FP32精度），但实际测试表明其分割效果相当出色。开发者迅速将该模型整合到了Krita-AI-Diffusion的搜索路径中，使其能够被自动识别和使用。

技术演进

在后续版本v1.21.0中，项目引入了xinsir union控制网络的支持。这一新型控制网络不仅功能强大，而且同样适用于分割任务，使得专门的分割控制网络不再是必需选项。不过，原有的分割控制网络仍然保持兼容，为用户提供了更多选择。

应用价值

这一技术的加入为数字艺术家带来了显著优势：

1. 更精确的区域控制能力，可以针对图像特定部分进行细致调整
2. 保持创作意图的完整性，避免全局调整带来的不必要影响
3. 提高工作效率，减少后期手动编辑的需求
4. 为复杂场景的创作提供了新的可能性

Krita-AI-Diffusion项目持续推动AI艺术工具的边界，通过整合最先进的控制网络技术，为创作者提供了更强大、更灵活的创作工具。

krita-ai-diffusion Streamlined interface for generating images with AI in Krita. Inpaint and outpaint with optional text prompt, no tweaking required. 项目地址: https://gitcode.com/gh_mirrors/kr/krita-ai-diffusion