ComfyUI的ControlNet辅助预处理器插件教程
comfyui_controlnet_aux项目地址:https://gitcode.com/gh_mirrors/co/comfyui_controlnet_aux
项目介绍
ComfyUI's ControlNet Auxiliary Preprocessors 是一个专为ComfyUI设计的开源扩展,它集成了由lllyasviel开发的ControlNet框架的辅助预处理功能。这个项目旨在简化生成带有控制网络条件的图像过程,使得用户能够利用如Canny边缘检测等预处理技术,增强AI生成图像的细节和准确性。所有贡献均归原作者及Marigold项目,并特别提到Marigold Depth Estimator,一种能产生高度详细且适用于3D打印的深度图的工具。
项目快速启动
要开始使用这个插件,您需遵循以下步骤来配置您的环境:
使用ComfyUI Manager安装(推荐)
- 安装ComfyUI Manager: 确保您已安装最新版本的ComfyUI及其管理工具。
- 添加仓库: 在ComfyUI Manager中,添加此插件的仓库地址:
https://github.com/Fannovel16/comfyui_controlnet_aux.git
。 - 执行安装: 选择该仓库并执行安装操作,系统将自动处理依赖项并集成到ComfyUI中。
手动安装
如果您不使用Manager,或者在特定环境下运行:
-
克隆仓库: 在ComfyUI的
custom_nodes
目录下,通过Git克隆项目:cd /path/to/ComfyUI/custom_nodes/ git clone https://github.com/Fannovel16/comfyui_controlnet_aux.git
-
安装依赖: 进入
comfyui_controlnet_aux
目录并确保Python环境正确,然后安装必要的库: 对于系统Python:pip install -r requirements.txt
若使用ComfyUI提供的Python环境(如Portable/venv):
path/to/ComfyUI/python_embedded/python.exe -m pip install -r requirements.txt
-
启动ComfyUI: 完成上述步骤后,重新启动ComfyUI以加载新的插件节点。
应用案例和最佳实践
使用ComfyUI's ControlNet Auxiliary Preprocessors
,您可以实现精确控制图像生成过程。比如,通过结合SD1.5模型与control_v11p_sd15_canny
模型,您可以基于Canny边缘检测的结果引导图像生成,得到细节丰富的二次元图像。具体实施时,您需要:
- 将预处理后的图像(如Canny边缘图)作为“ControlNet应用”的输入。
- 设置合适的CLIP文本编码器和K采样器。
- 可以串联多个“ControlNet应用”节点,每增加一个节点就能添加一层控制条件,从而实现复杂场景的精细绘制。
典型生态项目
- Marigold Depth Estimator: 虽然不能直接整合进此插件,但其产生的深度图可用于创建具有深度感的图像,可手工或通过其他方式融入到ControlNet流程中。
- ComfyUI-Marigold: 由Kijai开发,提供了Marigold在ComfyUI中的实现,用于生成高质量的深度图,适合进一步与ControlNet结合使用,创造三维效果强烈的图像。
- LCM模型与Turbo模型、AnimateDiff插件、Stable Video Diffusion模型、Stable Zero 123模型等,这些都属于ComfyUI和AI生成图像社区内的高级应用,能够拓展生成图像的能力,从静态图像到动画乃至视频生成。
通过这些步骤和实践,您可以解锁ComfyUI与ControlNet的潜力,创造出令人惊叹的艺术作品和视觉效果。记得探索不同预处理器的效果,实践最佳实践,不断试验以发现新技巧。
comfyui_controlnet_aux项目地址:https://gitcode.com/gh_mirrors/co/comfyui_controlnet_aux