AI绘画Stable Diffusion：ControlNet大升级，一站式图像生成与编辑组件，ComfyUI最全使用指南

最新推荐文章于 2024-09-13 08:30:00 发布

程序员晓晓

最新推荐文章于 2024-09-13 08:30:00 发布

阅读量1.4k

点赞数 20

文章标签： AI作画 stable diffusion 人工智能 AI大模型 AI教程 AI绘画教程 AI工具

本文链接：https://blog.csdn.net/cxyxx12/article/details/140344364

版权

大家好，我是程序员晓晓

最近AI绘画Stable DIffusion 出现了一款由 xinsir团队发布的controlnet-union-sdxl-1.0框架，这是一套全新的ControlNet架构，一款专为图像生成和编辑设计的控制模型，支持10余种ControlNet控制类型一体(本次发布ControlNetPlus集齐更多的CN功能一体化方案)，在条件文本到图像生成中表现出色，并且能够生成视觉上与Midjourney相媲美的高分辨率图像。

ControlNet++采用设计了一种新架构：在基于原始ControlNet架构基础上，提出了两个新模块：

扩展原始ControlNet，使用相同的网络参数支持不同的图像条件。
在不增加计算负担的情况下，支持多种条件输入。这对于需要详细编辑图像的设计师来说尤其重要，不同的条件使用相同的条件编码器，无需添加额外的计算或参数。

研发团队通过在SDXL上进行了广泛的实验评估，展示了ControlNet++在控制能力和审美评分上都取得了优越的性能。

Github代码库：https://github.com/xinsir6/ControlNetPlus/tree/main
模型下载地址：https://huggingface.co/xinsir/controlnet-union-sdxl-1.0

注意：如下载地址无法访问，请扫描获取模型插件哦

官方视觉演示案例

Openpose

深度 (Depth)

Canny

线稿 (Lineart)

动漫线稿 (AnimeLineart)

MLSD

涂鸦 (Scribble)

HED

Pidi(Softedge)

Teed

分割 (Segment)

法线 (Normal)

ControlNetPlus使用指南

就在昨天ComfyUI的最新版本已经支持 ControlNet++ 的运行。因此，首先请确保更新ComfyUI到最新版本，如你还没有安装ComfyUI，请看我的往期入门教程【AI绘画】ComfyUI 全新体验包来袭！一键安装即开即用

安装好后然后在插件管理器中搜索comfyui-art-venture并安装插件。最后加载我提供的工作流文件，即可开始体验。涉及下载模型如下：

controlnet-union-sdxl-1.0：下载对应模型并放置在 /ComfyUI/models/controlnet/ 目录下。
建议将diffusion_pytorch_model.safetensors 重命名为controlnet-union-sdxl-1.0.safetensors，便于后续管理。
模型下载地址：https://huggingface.co/xinsir/controlnet-union-sdxl-1.0/
如无法下载，请扫描免费获取哦

工作流界面

ControlNetPlus体验

在本文中涉及的基础模型和模型配置如下：

绘图模型：Dream Tech XL | 筑梦工业XL
采样方法：DPM++ 2M Karras
迭代步数：30步
提示词引导系数 (CFG Scale)：7

通用负向提示词：

NSFW,(nsfw:1.3),render,childlike,text,signature,(worst quality, low quality, very displeasing, lowres),(interlocked fingers, badly drawn hands and fingers, anatomically incorrect hands),blurry,watermark,

01：（姿势）Openpose

1girl,chinese girl, solo,black hair,look at viewer,anteversion, dress, red dress,red lips, long hair, looking at viewer, makeup, realistic, solo,simple background, indoor,

输出图像

02：深度 (Depth)

1girl,chinese girl, solo,black hair,look at viewer,anteversion, dress, red dress,red lips, long hair, looking at viewer, makeup, realistic, solo,simple background, indoor,

输出图像

03：硬边缘（Canny）

big eyes,dress,blue eye,white hair,red lipstick,clean face,soft sunshine,side view close-up shot of a beautiful woman holding a kitsune mask in her hands,half covering her face,open eyes,1girl,Mask,(mask:1.3),reality,best quality,high definition,

输出图像

04：MLSD

Oriental architectural design,townhouses,80’s houses,lawns

输出图像

05：涂鸦 (Scribble)

1girl,simple background,Turn your back on the audience, half backless, hand covering,shadow killer, dress, simple background, pink background

输出图像

ControlNet++是一套一站式全套的ControlNet功能集，不仅上面展示了这些功能集，还包含更多的功能。

感兴趣的小伙伴，赠送全套AIGC学习资料，包含AI绘画、AI人工智能等前沿科技教程和软件工具，具体看这里。

AIGC技术的未来发展前景广阔，随着人工智能技术的不断发展，AIGC技术也将不断提高。未来，AIGC技术将在游戏和计算领域得到更广泛的应用，使游戏和计算系统具有更高效、更智能、更灵活的特性。同时，AIGC技术也将与人工智能技术紧密结合，在更多的领域得到广泛应用，对程序员来说影响至关重要。未来，AIGC技术将继续得到提高，同时也将与人工智能技术紧密结合，在更多的领域得到广泛应用。

在这里插入图片描述