揭秘ControlNet：如何精准驾驭Stable Diffusion实现AI绘画的极致控制

引言

在人工智能领域，AI绘画技术以其独特的魅力和创新性，逐渐成为艺术创作的新势力。其中，Stable Diffusion作为一款备受瞩目的AI绘画工具，以其丰富的控制手段和逼真的生成效果赢得了众多用户的喜爱。而ControlNet作为Stable Diffusion的核心技术，更是让AI绘画达到了一个新的高度。本文将带您深入了解ControlNet如何精准驾驭Stable Diffusion，实现AI绘画的极致控制，让您领略科技与艺术完美融合的魅力。

正向提示词：

masterpiece,best quality,(photorealistic:1.4),(long hair:1.2),(ultra detailed:1.3),masterpiece,unity 8k wallpaper,solo,looking at viewer,1boy,xiaoyan,brown hair,brown eyes,(chinese clothes:1.2),closed mouth,(armor:1.2),fire,flames surround from behind,flying in the sky,there is smoke and flames in the air,

ControlNet下载方法

首先我们可以直接打开好易智算平台，在文生图右下角就可以直接使用了。

最近好易智算平台推出了一个超值活动：

首先是扫码注册就能获得5元免费体验金 官方加码给达人的群友福利再+5元体验金（24小时到账）

另外还有一个充值活动！！！

充越多送越多！最低享受平台算力5折价格！！每小时不到1块2！！ 充值金全平台畅用(算力+应用）
如遇官方其他折扣活动，可叠加！！！可叠加！！！可叠加！！！ 没有使用期限要求！ 还等什么，赶紧扫码充值上车！！

注册7天内充值有效，每个ID仅限一次！ 移动端扫码充值（PC端即可享用）

活动时间：7月25日-8月9日

我们也可以在拓展中去加载拓展列表，在好易智算平台中呢，我们要换一个url：
复制进去就可以了：

https://gitcode.net/rubble7343/sd-webui-extensions/raw/master/index.json

复制进去之后，就可以看到大量的拓展列表了：

找到ControlNet下载即可
下载好之后呢，还是不够的，因为我们还需要为你想要的预处理器，准备一个模型，这里我们可以点开这个url：

https://huggingface.co/lllyasviel/ControlNet-v1-1/tree/main

这里可能需要访问外网，可以点我头像私信我，我直接发给你即可

此次呢我们主要来使用好易智算平台中的Stable Diffusion使用一下Canny这个边缘控制预处理器

Canny预处理器

在Stable Diffusion的众多预处理器中，Canny边缘检测器无疑是一个强大的工具。Canny预处理器的主要作用是在图像生成过程中，精确捕捉并突出图像的边缘信息，从而为Stable Diffusion提供更明确的指导，提升最终图像的视觉效果。

Canny预处理器的工作原理

Canny边缘检测是一种流行的图像处理算法，它通过以下几个步骤来识别图像中的边缘：

1. 噪声降低：首先对图像进行高斯模糊处理，以减少图像噪声对边缘检测的影响。
2. 梯度计算：计算图像中每个像素点的梯度幅度和方向，这些梯度信息指示了图像中的边缘位置。
3. 非极大值抑制：细化边缘，去除非边缘点，确保边缘的细化和准确性。
4. 双阈值检测：设置高低两个阈值，以确定真实边缘和潜在边缘。
5. 边缘连接：通过边缘跟踪和滞后阈值，将边缘连接成完整的轮廓。
   
   

在Stable Diffusion中的应用

将Canny预处理器应用于Stable Diffusion，可以实现以下效果：

• 提高边缘清晰度：通过Canny预处理器，Stable Diffusion能够更好地理解图像的边缘结构，从而在生成的图像中保持清晰的边缘。
• 风格化控制：用户可以利用Canny预处理器来控制生成的图像风格，例如，强调线条感或者营造一种素描效果。
• 细节保留：在处理复杂场景时，Canny预处理器有助于Stable Diffusion更好地保留细节，避免生成模糊不清的图像。

实操指南

在使用Canny预处理器时，以下是一些实用的操作建议：

• 调整阈值：根据不同的图像内容和风格需求，适当调整Canny算法的高阈值和低阈值，以获得最佳的边缘检测效果。
• 结合其他预处理器：Canny预处理器可以与其他预处理器结合使用，例如，与深度学习模型相结合，以进一步提升图像生成的质量。
• 注意图像尺寸：在使用Canny预处理器时，应确保图像尺寸适中，过大的图像可能会导致处理速度变慢，而过小的图像则可能丢失细节。

首先我们可以选择一张图片作为基础：
例如：

我们将图片放入之后，可以看到有两个重要的参数：


在图像处理中，特别是使用Canny边缘检测算法时，阈值设置是一个关键步骤，它直接影响到边缘检测的效果。Canny算法中通常涉及两个阈值：低阈值（Low Threshold）和高阈值（High Threshold）。以下是这两个阈值的详细介绍：

低阈值（Low Threshold）

低阈值是Canny边缘检测中的一个参数，用于确定哪些边缘是潜在的弱边缘。具体来说：

• 作用：低阈值用于初步筛选边缘，任何梯度幅度高于低阈值的像素点都会被标记为边缘候选点。
• 设置：通常，低阈值设置得较低，以便能够捕捉到图像中的所有弱边缘和细节。
• 影响：如果低阈值设置得太高，可能会导致图像中的一些弱边缘被忽略；如果设置得太低，则可能会引入过多的噪声，导致边缘检测结果不够干净。

高阈值（High Threshold）

高阈值是Canny边缘检测中的另一个参数，用于确定哪些边缘是强边缘。具体来说：

• 作用：高阈值用于进一步确认边缘，只有梯度幅度高于高阈值的像素点才会被最终确认为强边缘。
• 设置：高阈值通常设置得比低阈值高，以区分强边缘和弱边缘。
• 影响：如果高阈值设置得太低，可能会导致过多的边缘被标记为强边缘，从而引入噪声；如果设置得太高，则可能会错过一些重要的边缘信息。

阈值之间的关系

在Canny算法中，低阈值和高阈值之间的关系是至关重要的：

• 边缘连接：位于低阈值和高阈值之间的边缘被称为弱边缘，它们可能会与强边缘相连，形成连续的边缘。
• 滞后阈值（Hysteresis）：Canny算法使用滞后阈值技术，即如果弱边缘与强边缘相连，则该弱边缘也会被提升为强边缘。这种方法有助于保持边缘的连续性。

实际应用中的调整

在实际应用中，通常需要根据图像的特点和所需的边缘检测效果来调整这两个阈值：

• 对于噪声较多的图像，可以适当提高低阈值，以减少噪声的影响。
• 对于需要精细边缘的图像，可以适当降低高阈值，以确保不遗漏任何重要的边缘信息。
• 通常需要通过实验和观察来找到最佳的阈值组合。
  这里我们可以选参数高一些的进行生成，
  
  我们可以看到，在没有输入提示词的情况下，我们对于生成的脸型以及质量已经拥有了很高的控制，我们输入一些提示词：

正向提示词：

1boy,solo,male focus,realistic,black hair,yellow shirt,looking at viewer,shirt,portrait,simple background,black eyes,brown background,lips,nose,

反向提示词：

(worst quality, low quality:1.4),(depth of field, blurry:1.2),(greyscale, monochrome:1.1),3D face,cropped,lowres,text,(nsfw:1.3),(worst quality:2),(low quality:2),(normal quality:2),normal quality,((grayscale)),skin spots,acnes,skin blemishes,age spot,(ugly:1.331),(duplicate:1.331),(morbid:1.21),(mutilated:1.21),(tranny:1.331),mutated hands,(poorly drawn hands:1.5),blurry,(bad anatomy:1.21),(bad proportions:1.331),extra limbs,(disfigured:1.331),(missing arms:1.331),(extra legs:1.331),(fused fingers:1.61051),(too many fingers:1.61051),(unclear eyes:1.331),lowers,bad hands,missing fingers,extra digit,bad hands,missing fingers,(((extra arms and legs)))

同样地，我们无论如何更改提示词，都能够很好地控制

1boy,solo,male focus,cyberpunk,stoic expression,cold and detached gaze,black hair with neon streaks,yellow tech-patterned shirt,staring intensely at viewer,high-tech clothing,portrait,futuristic digital background,glowing black eyes with a hint of冷漠,metallic brown ambiance,lips set in a firm line,cybernetic nose,neon underlighting.,

cyberpunk,neon lights,futuristic cityscape,high-tech armor,glowing eyes,black and blue hair,digital patterns,intense gaze,portrait,detailed background,metallic ambiance,edge lighting,

ControlNet的深入解析

ControlNet的工作原理

ControlNet是Stable Diffusion中的一个关键组件，其主要工作原理是通过额外的控制信息来引导图像生成过程。这些控制信息可以是图像的语义布局、边缘信息或者其他特定的特征映射。以下是ControlNet的核心特性：

1. 控制引导：ControlNet通过预处理输入图像或控制图来生成一个引导图，这个引导图会告诉模型在生成图像时应该关注哪些区域和特征。
2. 多模态融合：它能够将文本提示和视觉引导信息融合在一起，使得生成的图像既符合文本描述，又遵循视觉约束。

ControlNet的具体应用场景示例

1. 风格迁移（Style Transfer）

具体应用实例：

• 艺术再创作：艺术家可以利用ControlNet将经典画作的风格，如梵高的后印象派或毕加索的立体主义，迁移到现代照片或自己的作品上，创造出全新的艺术作品。
• 商业设计：在商业广告设计中，设计师可以快速将一种产品的视觉风格应用到另一种产品上，比如将高端品牌的视觉风格迁移到平价产品上，以提升后者的影响力。
  

2. 图像修复（Image Restoration）

具体应用实例：

• 老照片修复：ControlNet可以帮助修复受损的老照片，去除划痕、褪色等问题，同时保留照片的原始细节和情感。
• 图像去噪：在医学影像领域，ControlNet可用于去除扫描图像的噪点，提高图像质量，帮助医生更准确地诊断。
  
  
  

好易智算平台

好易智算平台是一个功能强大且易于使用的AI绘画平台，它为艺术家、设计师和爱好者提供了一个创新的工具，使他们能够以全新的方式探索和表达自己的创造力。以下是对好易智算平台的几个亮点：

1. 便捷的界面：好易智算平台拥有直观的用户界面，使得即使是初学者也能够快速上手，并且能够轻松地访问各种高级功能。
2. 丰富的工具和预处理器：平台提供了丰富的AI工具
3. 强大的AI绘画技术：依托于先进的AI技术，好易智算平台能够生成逼真且富有创意的图像，满足用户在艺术创作和设计方面的各种需求。
4. 广泛的适用性：无论是个人创作、商业设计，好易智算平台都能够提供强大的支持，帮助用户实现自己的创意和想法。
5. 社区和资源：好易智算平台拥有一个活跃的社区，用户可以在这里交流心得、分享作品，并且可以获得来自其他用户和开发者的支持和帮助。