Stable Diffusion介绍 | Controlnet_controlnet 张吕敏什么时候发布-CSDN博客

本文链接：https://blog.csdn.net/HJS123456780/article/details/140629140

Controlnet

=================

介绍

Stable diffusion是一款开源软件，全世界各地的高手为它开发了数以百计的插件，其中最重要的插件就是controlnet，controlnet的作者是张吕敏，他是2021年本科毕业，目前正在斯坦福读博的中国人。

controlnet的重要程度可以用史诗级来形容，大概在2023年2月中旬，这个插件诞生前后，Stable diffusion是完全两个不同的软件，尽管在之前sd生成的图片非常好看，但是图片的细节无法把控，大家都开玩笑说生图就像抽卡，能抽到好的就好，抽不到再抽。但在有了controlnet之后，我们就可以从各种层面上控制、引导图片的生成，使得Stable diffusion获得了图片定向生成的功能，从此作为生产力工具的效率大大提升。

ControlNet 的核心能力就是能让我们通过设置各种条件来让AI更可控地生成最终图像结果。我们控制图像之前要选择控制类型，之后选择该控制类型对应的预处理器，再选择模型，同时要调整各个参数，每个控制类型下对应着几个预处理器，每个预处理器的效果都是不一样的。

下面是各种控制类型的介绍

15种控制类型

Canny

硬边缘检测

通过对人物或物体边缘检测绘制，搭配提示词生成新的人像和物体

Anime Lineart

线稿（动画）

通过对动画人物或物体的线稿绘制或直接输入线稿，搭配提示词生成新的动画人物和物体

Lineart

线稿

通过对人物或物体的线稿绘制或直接输入线稿，搭配提示词生成新的人物和物体

SoftEdge

软边缘检测

通过对人物和物体的柔性线条检测绘制，搭配提示词生成新的人物和物体

Scribble

涂鸦

通过对人物和场景的涂鸦风格绘制或直接输入粗线条涂鸦作品，搭配提示词生成新的人物和场景

MLSD

直线检测

通过对室内场景的线条检测绘制，搭配提示词生成新的室内室外场景设计

Depth

深度图

通过对人像或场景的深度图绘制，搭配提示词生成新的人像和场景

Normal

法线贴图

通过对人像或场景的法线贴图绘制，搭配提示词生成新的人像和场景

Segmentation

语义分割

通过对人物和场景的语义分割或直接输入语义分割图，搭配提示词生成新的人物和场景

Openpose

姿势检测

通过对人物身体，面部和手部的姿势检测，搭配提示词生成相同姿势的新人物

Shuffle

风格迁移（实验）

将画面上的元素重建或是将风格引入到其他的画像上

IP2P

像素级指令

通过指令或tag对画面的局部或整体进行操作变化

Reference

像素级指令

通过算法而不是模型来对图片内容进行保留原型的变化

Tile

增强细节，丰富元素，用途非常广泛，有待进一步开发

Inpaint

局部修复或重绘画面上的元素，保持其他部分大致不变

有关控制类型详细的介绍、预处理器介绍、不同预处理器的生成效果、controlnet参数设置、预处理器对应模型介绍、不同预处理器和模型适用于生成什么类型的图片，这些内容在我们AIGC全能课，都会讲到，欢迎来报名，文末扫码即可。

写在最后

AIGC技术的未来发展前景广阔，随着人工智能技术的不断发展，AIGC技术也将不断提高。未来，AIGC技术将在游戏和计算领域得到更广泛的应用，使游戏和计算系统具有更高效、更智能、更灵活的特性。同时，AIGC技术也将与人工智能技术紧密结合，在更多的领域得到广泛应用，对程序员来说影响至关重要。未来，AIGC技术将继续得到提高，同时也将与人工智能技术紧密结合，在更多的领域得到广泛应用。

感兴趣的小伙伴，赠送全套AIGC学习资料和安装工具，包含AI绘画、AI人工智能等前沿科技教程，模型插件，具体看下方。