【Stable Diffusion】ControlNet基本教程（三）

阿尔卑斯山林

已于 2023-05-03 22:35:58 修改

阅读量1.2k

点赞数 1

分类专栏： Stable Diffusion AI绘画 AIGC 文章标签： stable diffusion 人工智能计算机视觉

于 2023-05-03 18:25:56 首次发布

本文链接：https://blog.csdn.net/weixin_47970003/article/details/130472057

版权

Stable Diffusion 同时被 3 个专栏收录

8 篇文章 9 订阅

订阅专栏

AI绘画

8 篇文章 0 订阅

订阅专栏

AIGC

7 篇文章 0 订阅

订阅专栏

本文是ControlNet教程的第二部分，介绍了如何使用该工具更换物体的表面皮肤，以及生成室外风景图片。通过选择不同的预处理方法如canny、hed或pidinet，结合大模型如chilloutmix_NiPrunedFp32Fix，可以实现图像的创意变换。此外，文章还提到了语义分割在风景图片生成中的应用，利用特定颜色或真实风景图片进行创作。

摘要由CSDN通过智能技术生成

接上篇【Stable Diffusion】ControlNet基本教程（二），本篇再介绍两个ControlNet常见的基本用法，更多用法欢迎关注博主，博主还会更新更多有趣的内容。
3.3更换物体皮肤
有时，我们不想改变物体的轮廓，只想改变物体表面的皮肤，例如，同一种鞋型，我们让它生成不同的鞋子表面的样式
（1）在“图生图（img2img）”中上传（Drop Image Here or Click to Upload）需要更换“皮肤”的物体图片
在这里插入图片描述
（2）在ControlNet中上传同一张需要处理的图像（Drop Image Here or Click to Upload）
（3）启用ControlNet，在“预处理（Preprocessor）”中选择“canny”或“hed”或“pidinet”，在“模型（Model）”中选择对应的“control_canny”或“control_hed”，值得注意的是在“预处理（Preprocessor）”选择“pidinet”，在“模型（Model）”对应的也是“control_hed”，这三种处理方式，都是对图像的边缘进行检测，根据自己的需求进行选择，可以在下方的“预处理分辨率（Annotator Resolution）”如果选择“hed”，就是“HED Resolution”，作用都是一样的，调节边缘线条，可以点击下方的“预览预处理结果（Preview Annotator Result）”对预处理后的效果进行观察，判断是否做进一步调整，调节参数的位置如图：
在这里插入图片描述
调节后效果实例：

（4）选择大模型，不同的大模型显示的图像效果不同，可以多试验几个，这里我使用“chilloutmix_NiPrunedFp32Fix”来试验
（5）输入Prompt和Negative prompt词，根据你的需要来输入，比如，你想要“一双蓝色的潮流鞋子”，就可以输入“blue fashionable shoes”，当然，你也可以根据你的需求输入其他的描述词，鞋带的颜色，鞋面有没有涂鸦等等。
（6）如果有其他需要，还可以配合lora等使用
效果如下：
在这里插入图片描述
（大模型：chilloutmix_NiPrunedFp32Fix
描述词：masterpiece, best quality, design sense, blue fashionable shoes）

（大模型：chilloutmix_NiPrunedFp32Fix
描述词：masterpiece, best quality, design sense, green fashionable shoes）
效果还是蛮不错的！设计师的灵感库、淘宝商家的福音！
3.5室外风景生成
我们想要用特定的颜色随便涂抹几笔就能生成一张好看的风景图片，使用ControlNet的语义分割模型就能实现
（1）使用特定的颜色进行涂抹创作，因为ControlNet使用的模型为ADE20K，颜色所代表的元素对应如下：在这里插入图片描述
或者使用一张真实的风景图片，先进行语义分割，再做进一步处理，值得注意的是，在ControlNet中使用预处理选择segmentation，模型选择control_seg也可以将进行语义分割，但速度相对较慢，效果也不是太好，这里推荐使用：https://huggingface.co/spaces/shi-labs/OneFormer。打开之后：
在这里插入图片描述

如果有兴趣对语义分割以及其他计算机视觉的内容感兴趣，博主将会专门出博文讲一下
这里得到一张语义分割图像：
在这里插入图片描述

（2）在ControlNet中点击启用，上传语义分割图像，在预处理中选择None，在模型中选择control_seg，在Prompt和Negative prompt中加入一些描述词，再选择大模型，有兴趣还可以加入lora，以及其他一些模型、参数，就可以生成室外风景图像了。
图像示例：
在这里插入图片描述
（大模型：realisticVisionV13_v13
描述词：masterpiece, best quality, landscape,morden house, ,scenery, photorealistic, realistic）

（大模型：chilloutmix_NiPrunedFp32Fix
描述词：masterpiece, best quality, landscape,morden house, ,scenery, photorealistic, realistic）
怎么样，是不是很神奇！下一节，我们将使用ControlNet对人物的动作进行指导，让人物摆出特定的动作，这是ControlNet最神级的操作！这意味着可以自定义姿势，这意味着AI绘图正式进入自主可控的世代！另外，博主还将使用ControlNet展示对建筑/室内图像生成的基本用法。欢迎点赞、关注、收藏支持一波，更多AI绘画教程敬请期待！