2024最新controlnet详解：Segmentation语义分割的使用方法

参考原文链接：【controlnet】Segmentation (语义分割) (chinaz.com)

介绍

本文提供一个全面的教程，指导用户如何在Stable Diffusion（SD）中利用【controlNet】Segmentation功能进行AI绘图的语义分割。文章通过实际操作示例和详细步骤，展示了如何通过语义分割来精细化调整图像的细节，增强AIGC创作的灵活性和创意表现力。

segmentation简称SEG，SEG可以让你的构图更加可控，并且在结合multi control net以及latent couple等功能后更强大。seg模型可以把原图中的元素按类别进行分割处理，例如我们看到的天空、树木、河流、房屋等元素会被归纳为一类，不会展示元素的细节内容。

应用场景

主要有两种场景，一种是改变画风，另一种是控制出图，下面我们把这两种场景都介绍一下

预处理器介绍

Seg相关的预处理器有 3 种，分别为：“seg_ofade20k”、“seg_ofcoco”和“seg_ufade20k”。

一般使用默认的“seg_ofade20k”。

它们的区别在于使用的数据集和分割类别不同。seg_ofade20k 使用的是 ADE20K 数据集它包含了 150 个类别，涵盖了各种场景和物体。seg_ofcoco 使用的是 COCO 数据集，它包含了80 个类别，主要是一些常见的物体和动物。seg_ufade20k 使用的是 U-ADE20K 数据集它是 ADE20K 数据集的一个子集，只包含了 35 个类别，主要是一些室内场景和家具。

而ade20k与coco语义关联的颜色规则不一样，能够识别的物体类别数量也不一样，所以要选择不同颜色的对照表，小编已经为大家整理好了哦，想要获取颜色对照表的小伙伴可以右边扫码进群领取哦，

​

使用方法

场景一：改变画风

【大模型】根据上传的图片选择模型，我这边选择写实类的大模型

【提示词】可以不添加提示词，让AI自行发挥

【基本参数设置】采样参数设置Euler a，其他默认

【controlNet启用】

【点击生成】

可以看出语义分割会根据色块的范围进行重绘，所以我们可以通过提示词来改变风格，这里我添加提示词：巴洛克风格，再次点击生成

可以看到在不改变大体结构的情况下可以切换出图的风格，非常好用

场景二：控制出图元素

语义分割的还有一个作用就是可以控制出图的元素，我们可以上传图片先执行一次语义分割

在把风格后的图片下载下来放到PS中使用魔棒工具和油漆桶修改对应的颜色

然后重新上传我们修改后的图片，预处理器选择none，提示词写上1girl，mountain，

添加相关的提示词会更有利于AI去精准的替换我们的场景

点击生成，就可以发现我们修改的地方变成山的背景了，所以使用语义分割也是一种很好的控制出图元素的手段

​虽然这边人物也改变了，但是如果你是想制作艺术字体的话，使用seg是一个非常好的选择

---

站长素材AI教程是站长之家旗下AI绘图教程平台

海量AI免费教程，每日更新干货内容

想要深入学习更多AI绘图教程，请访问站长素材AI教程网：

AI教程_深度学习入门指南 - 站长素材 (chinaz.com)