ControlNet模型详解---从零开始到慢慢熟悉

上一篇文章中简单介绍了几个模型，包括Stable Diffusion Checkpoint, Lora, Vae, Embedding, ControlNet，虽然形成了初步印象，但此时感觉自己仍像一个小学生水平，所生成的图片需求差距较大。

怎样才能提高生成图片的质量？如何选择模型？参数含义是什么？

还是要沉下心来认真研究每一个模型的含义，每一个参数的含义，而不是从网上找个视频，跟着视频操作复现一遍。只知其然不知所以然，在此记录相关点滴，是为了自己以后查阅，也和大家一起交流。step by step，慢慢来，别着急，大概只有搞清楚底层的逻辑，才能真正提升水平。

今天把ControlNet模型认真梳理了一遍，记录此文，记录SD学习的历程。

---------------------------------------------------------------------------------------------------------------------

一、概述

‌ControlNet模型‌，指的是使用Conditional Generative Adversarial Networks"条件生成对抗网络来生成图像，它是一种用于图像生成和控制的深度学习模型，它通过精确控制图像的特定元素（如姿势、表情、手指等）来生成高质量的图像。

ControlNet模型由张吕敏开源（张吕敏，2021年本科毕业，斯坦福博士。由衷敬佩！），并支持多种预处理器和模型选择，以适应不同的生成需求。‌ControlNet可以通过不同的预处理器和模型来控制图像的边缘、线稿、涂鸦等特征，使得生成的图像更加符合用户的预期。例如，用户可以通过上传参考图来控制人物的姿势、控制表情或手指动作，从而生成具有特定姿势和表情的人物图像、上传线稿让AI填色渲染、控制人物的姿态、图片生成线稿等。

二、ControlNet模型的最新进展和未来趋势

ControlNet模型在2023年3月中下旬开始受到广泛关注，随着StableDiffusion的流行，ControlNet插件也得到了大量应用。最新版本ControlNet v1.1.400支持配合SDXL模型使用，进一步扩展了其应用范围。社区中也出现了许多针对SDXL的ControlNet模型，这些模型虽然没有完全遵照官方模型的命名规则，但也能从名称上看出模型的类型，如xl表示针对SDXL使用的模型。

三、ControlNet模型的安装和使用方法

安装ControlNet模型可以通过HuggingFace的代码仓库下载。ControlNet V1.1.150版本，一共有37种，目前所用的是V1.1.455版本（可私信免费提供）。下载后将其放入以下路径就可以使用了。

*\sd-webui-aki-v4.9.1\models\Stable-diffusion。

用户可以根据需要选择官方模型或社区模型，并通过不同的预处理器和模型来控制图像的特定特征。例如：

1. 使用