一、ControlNet基础回顾
1.1 ControlNet核心原理
ControlNet是Stable Diffusion生态中革命性的控制工具,通过引入额外的神经网络分支,实现对扩散过程的精准干预。其核心机制是在预训练模型基础上,通过端到端训练构建控制信号通路,允许用户通过图像、姿态、深度等空间语义信息引导生成。2025年最新版本(如ControlNet Union)整合了13种控制类型,支持单模型处理多模态输入,显著提升工作流效率。
1.2 模型类型与预处理器
1.2.1 基础控制模型
- Canny边缘检测:提取图像硬边缘,适用于线稿生成与风格迁移。
- OpenPose姿态识别:支持单人/多人骨骼追踪,精确控制人物动作。
- Depth深度感知:通过深度图控制场景透视与物体空间关系。
- Lineart线稿提取