【SD必备知识】：CN Canny边缘检测增强图像生成控制力，适用图像还原&着色&风格化多元化场景

AIGC小王

于 2024-06-27 10:44:57 发布

阅读量817

点赞数 24

文章标签：人工智能 stable diffusion midjourney 学习 AI作画 aigc AIGC

本文链接：https://blog.csdn.net/text2201/article/details/140006990

版权

大家好我是小王！

Stable Diffusion（SD）作为一款先进的AI图像生成工具，其边缘检测功能在图像处理中发挥着重要作用。本文将带你深入了解SD边缘检测如何增强图像生成控制力，适用于图像还原、着色、风格化等多元化场景。

SD边缘检测是一种基于深度学习的图像处理技术，它能够自动识别和突出图像中的边缘和轮廓。这一功能不仅能够提高图像的清晰度和对比度，还能够增强图像生成的控制力，使生成效果更加精准和自然。

ControlNet Canny模型简介

今天的SD必备知识系列文章主题为利用ControlNet解锁ControlNet Canny工具。ControlNet Canny模型是SD绘图开发者工具箱中一款强大的法宝工具，可以实现高度可控制的，提取输入图像结构，并进一步图像还原、着色和风格化等。ControlNet Canny可以识别并提取图片里的边缘特征来进行图片生成，可以被用在大部分的图像外形特征还原的场景里。ControlNet Canny是ControlNet中几种线条预处理器（canny、lineart、mlsd、scribble）中识别线条最多的预处理器，因此可以被应用于最大程度的还原照片或线稿上色等众多使用场景。

ControlNet Canny允许用户以自主高度可控的方式控制和操纵SD模型绘图的输出 。ControlNet Canny是采用计算机视觉和深度学习领域的最新研究和开发的成果的技术方法，主要目的是使用户能够在Stable Diffusion模型生成的输出图像中指定并包含特定特征（特征包括：整体图像结构、主体姿势或图像风格化等) 。

ControlNet Canny模型是在Stable Diffusion模型基础上增加了额外的被称为“ControlNet层”的控制层。ControlNet层是由一组神经网络组成，在这组神经网络中的每一个神经网络负责控制生成过程的不同方面（如：控制边缘的强度、控制边缘的位置等）。

ControlNet层是通过使用监督学习算法进行训练的。这也意味着在具有“Canny edge”和相应生成图像的数据集上进行训练。Canny edge图像已经经过边缘检测处理，并且突出显示其中的物体边界。

训练算法使用Canny edge来训练ControlNet层生成具有相同边缘的图像。ControlNet层学习使用Canny edge作为输入，并输出一组“权重”，用于修改生成过程。这些权重控制生成图像中边缘的强度、位置和形状。通过学习这些数据，网络获得了识别关键图像特征并将其纳入Stable Diffusion模型输出的能力。而一旦ControlNet层训练完成，模型就可以用于从任何Canny edge图像生成图像。只需向ControlNet层提供Canny边缘图像，模型就可以生成具有相同边缘的新图像。

ControlNet Canny模型的应用

ControlNet Canny可以让用户掌控Stable Diffusion模型的输出做到精确边缘控制，是一个具有巨大潜力的多功能绘图控制工具，能够被应用于广泛和多样化的创作场景下，提供了无限的创意可能性。

• 控制输出：生成与特定数据集一致或符合特定风格的图像。如图像图像还原、线稿着色与风格化。

• 特定特征图像：生成具有特定特征的图像，如特定姿势、独特风格或特定对象。

• 图像质量改进：通过消除噪声和添加更精细的细节来增强图像质量。

• 图像恢复 ：以提高的质量恢复历史照片或损坏的图像。

• 超现实视觉效果 ：生成不同程度的超现实图像。

• 创意项目：利用高度的准确性和控制力将用户想象力变为现实。

凭借ControlNet Canny控制特定特征和提高整体质量的能力，ControlNet Canny提升了Stable Diffusion的图像中用户的自主控制和增强性。

ControlNet Canny包含2个选项，分别为：Canny（硬边缘检测）、Invert（对白色背景黑色线条图像反向处理）。Invert预处理器适用于线稿上色预处理线条反转黑白线条。

ControlNet Canny 体验

01. ControlNet参数配置

本文使用绘图配置：

• 模型：AWPortrait
• 迭代步数：30
• CFG：7
• 采样器：DPM++ 2M Karras

本文涉及模型下载地址（文末可自行扫描获取）：

• AWPortrait

• control_v11p_sd15_canny.pth

• controlnet-canny-sdxl-1.0.safetensors

然后设置SD-WebUI文生图ControlNet配置如下所示：

注意：

• 使用ControlNet类型为Canny 。
• 预处理器：Canny 或 Invert。
• ControlNet模型使用：SD1.5模型：control_v11p_sd15_canny.pth。SDXL版本：controlnet-canny-sdxl-1.0.safetensors。
• 文本提示、绘图模型、控制权重、结束控制步骤对于出图效果都有重要的影响，需要适当的调整以选择达到目的效果的绘图。