ComfyUI-controlnet控制出图

插件

comfyui_controlnet_aux

提供加载预处理器节点

https://github.com/Fannovel16/comfyui_controlnet_aux

预处理器

预处理器说明，官方文档

https://github.com/Fannovel16/comfyui_controlnet_aux?tab=readme-ov-file

1. dwpose 检测全身

body_pose_model.pth、facenet.pth、hand_pose_model.pth（检测身体部位）放在以下目录

E:\Comfyui\ComfyUI\custom_nodes\comfyui_controlnet_aux\ckpts\lllyasviel\Annotators\

yolox_l.onnx（生成脸部遮罩）放在以下目录

E:\Comfyui\ComfyUI\custom_nodes\comfyui_controlnet_aux\ckpts\yzd-v\DWPose\

dw-ll_ucoco_384_bs5.torchscript.pt(姿势预估器)放在以下目录

E:\Comfyui\ComfyUI\custom_nodes\comfyui_controlnet_aux\ckpts\hr16\DWPose-TorchScript-BatchSize5\

2. depth anything v2

depth_anything_v2_vitl.pth（检测物品的空间位置）放在以下目录

E:\Comfyui\ComfyUI\custom_nodes\comfyui_controlnet_aux\ckpts\depth-anything\Depth-Anything-V2-Large\

controlnet模型

文档说明（controlnet模型的作用）

https://github.com/lllyasviel/ControlNet

1. dwpose 检测全身

需要加载control_v11p_sd15_openpose.pth

2. depth anything v2

需要加载control_v11f1p_sd15_depth.pth

3. canny

需要加载control_v11p_sd15_canny.pth

全部controlnet模型统一放在以下目录，v11版本每个pth文件需要配一个同名yaml文件

E:\Comfyui\ComfyUI\models\controlnet

官方提供的模型跟预处理器之间的关系

模型名	用途	预处理器	备注
	白底黑线反色	invert
	面部控制	mediapipi_face
	参考来源图片	refrence_only	仅参考输入图
refrence_adain	输入图 + 自适应范例
refrence_adain+attn	输入图 + 自适应范例 + attention
1.control_v11p_sd15_canny	边缘检测	canny	将图片轮廓描绘得好
2.control_v11f1p_sd15_depth	深度检测	depth_leres	对空间描述把握得好
depth_midas
depth_zoe
3.control_v11p_sd15s2_lineart_anime	动漫线稿控制	lineart_anime
lineart_anime_denoise	带去噪
4.control_v11p_sd15_lineart	线稿控制	lineart_coarse	粗略线提取
lineart_realistic	写实线提取
lineart_standard	标准
5.control_v11p_sd15_mlsd	直线检测	mlsd	直线检查，适用于建筑，室内装修图
6.control_v11p_sd15_normalbae	法线贴图	normal_bae
normal_midas
7.control_v11p_sd15_openpose	姿态控制	openPose	仅姿态
openpose_face	姿态 + 脸部
openpose_faceonly	仅脸部
openpose_full	姿态、手部及脸部
openpose_hand	姿态 + 手部
8.control_v11p_sd15_scribble	涂鸦	scribble_hed	合成
scribble_pidinet	手绘
scribble_xdog	强化边缘
9.control_v11p_sd15_seg	语义分割	seg_ofade20k
seg_ofcoco
seg_ufade20k
10.control_v11e_sd15_shuffle	风格洗牌转移	shuffle
11.control_v11p_sd15_softedge	软边缘	softedge_hed
softedge_hedsafe
softedge_pidinet
softedge_pidisafe
12.control_v11e_sd15_ip2p	图生图	预处理器选 None
13.control_v11f1e_sd15_tile	分块采样
14.control_v11p_sd15_inpaint	controlnet 自带的局部重绘	inpaint_global_harmonious

工作流和网盘资源

我用夸克网盘分享了「ComfyUI教程」，点击链接即可保存。打开「夸克APP」，无需下载在线播放视频，畅享原画5倍速，支持电视投屏。
链接：https://pan.quark.cn/s/274b451a3072

视频讲解

b站视频

https://www.bilibili.com/video/BV1QH2AYEEF9/?spm_id_from=333.1007.0.0