Stable Diffusion基础：ControlNet之重新上色（黑白照片换新颜）

本文给大家分享 Stable Diffusion 的基础能力：ControlNet 之重新上色。

这是一个最近新上的 ControlNet 模型，它可以识别图像中的不同区域，并使用不同的颜色重新绘制它们。

安装

ControlNet 安装（安装包文末领取！）

工欲善其事必先利其器，ControlNet 还是先要安装好的，已经安装好的请跳过这一步。

注意需要将 ControlNet 插件升级到 v1.1.410 这个版本，这个版本支持新的 ControlNet 类型。

Recolor 安装

使用 Recolor 前，还需要先安装几个模型：

/extensions/sd-webui-controlnet/models/ioclab_sd15_recolor.safetensors

/extensions/sd-webui-controlnet/models/sai_xl_recolor_128lora.safetensors

/extensions/sd-webui-controlnet/models/sai_xl_recolor_256lora.safetensors

这里支持 SDXL 的模型有两个 128lora 和 256lora，它们来源于 Stable Diffusion 的开发公司 StabilityAI 。

为什么有两个呢？首先它们都有一个后缀 lora，这是 StabilityAI 将 Lora 模型的方法引入到了 ControlNet 中，此类模型称为 ControlNet-LoRAs，128、256 分别代表了不同的压缩比例，256的模型文件大小约738M，128的文件更小约377M。文件大参数多，文件小易传播，但是256的效果并不一定比128好，还需根据实际出图情况选择。

不方便访问 huggingface 的同学可以通过我整理的资源下载，下载方式见文章最后！

基本使用

Recolor 可以用在“文生图”和“图生图”，实测 Recolor 在这两种方式下的效果差不多，这里以文生图为例，原图是这样的：

首先选择一个大模型，这里选择的是真实视觉模型 realisticVisionV51，实际使用时请根据要重新上色的图片选择。

提示词和反向提示词也可以不写，Recolor 会自己选颜色，但是要想达到特定的控制效果，还是得自己写。比如我这里想要把头发改成红色、裙子变成黄色。

Stable Diffusion 参数这里没什么好说的，默认或者自己根据需要改改都行。

最重要的是 ControlNet 这里，选择任意一个 ControlNet 单元，上传一张照片，勾选“启用”和“完美匹配像素”。

我这里还特别开启了“允许预览”，并生成了预览图，大家注意看这个预览图，相比原图，它去掉了色彩，变成了一张黑白照片。从这里可以看出 Recolor 的本质能力是对黑白图片上色，其基本处理过程是先使用预处理器提取黑白图，然后再识别图片的各个区域进行上色处理。

看下 Recolor 的几个参数：

预处理器有两个：

recolor_luminance：提取图像特征信息时注重颜色的亮度，实测大部分情况下这个效果更好。

recolor_intensity：提取图像特征信息时注重颜色的饱和度。

模型有三个：

ioclab_sd15_recolor.safetensors 适用于 Stable Diffusion 1.5 的模型。

sai_xl_recolor_128lora.safetensors 适用于 Stable Diffusion XL 的模型，模型的低秩矩阵有128维。

sai_xl_recolor_256lora.safetensors 适用于 Stable Diffusion XL 的模型，模型的低秩矩阵有256维。

Gamma Correction：伽玛校正，这个词比较专业，大概是说人眼对亮度的识别是不均匀的，对暗区的变化比较敏感，对亮区的变化比较迟钝，为了调节生成图片的感受亮度，以及在不同的显示设备上输出，就搞出了一个幂函数，来映射真实亮度和感受亮度，这个伽马值就是函数的幂。默认为1，如果感觉生成的图片暗就调小一点，如果感觉生成的图片过亮，就调大一点。

看看生成图片的效果：头发、裙子的颜色都处理对了。

这个例子中使用的还是SD 1.5的模型，如果换成 SD XL，就要选择对应的 XL 模型才行。

我实际测试 ControlNet-LoRAs 的时候发现一个问题：SD XL 对应的 Recolor 模型必须搭配提示词，否则就会出现不太和谐的色块，还会有莫名其妙的蓝色。要解决这个问题，必须编写提示词和反向提示词才能让生成的图片色彩比较和谐，还是以上边的参考图为例：

用途示例

颜色滤镜

只需要一个简单的颜色提示词，大家直接看效果吧，如需取图请看文章最后。

黑白照片上色

当时我是使用 Tile 修复了一张模糊的黑白照片，今天我再用 Recolor 给这张照片上个色。

使用“图生图”方式，模型选择 realisticVisionV51，为了更好的效果，这里专门写了几句提示词。

其它参数参考上边基本使用方法设置下就行了，下面是“高清修复+重新上色”的效果展示：感觉还是挺不错的！

写到这里，我突然想试一下 Recolor 直接修复模糊老照片的效果：

首先颜色有了，其次面部清晰了，特别是这个眼神，大家好好感受下，是不是特别还原。

不太好的就是清晰度还是不够，特别是面部之外的区域，颜色的渲染也不够精准，这是因为图片不够清晰，模型不能正确的识别相关区域。这个问题可以通过迭代生成优化，也就是将首次生成出来的图片再次用于图生图，对于衣服不清晰的问题我这里用了局部重绘，只是这个扣子的样式有点旧，我不知道怎么写提示词，模型也不认识。

再给大家看几张黑白照片上色的效果图：

资源下载

本系列使用的模型、插件，生成的图片，都已经上传到我整理的 Stable Diffusion 绘画资源中，需要的添加下方领取哦！

写在最后

感兴趣的小伙伴，赠送全套AIGC学习资料，包含AI绘画、AI人工智能等前沿科技教程和软件工具，具体看这里。
​

AIGC技术的未来发展前景广阔，随着人工智能技术的不断发展，AIGC技术也将不断提高。未来，AIGC技术将在游戏和计算领域得到更广泛的应用，使游戏和计算系统具有更高效、更智能、更灵活的特性。同时，AIGC技术也将与人工智能技术紧密结合，在更多的领域得到广泛应用，对程序员来说影响至关重要。未来，AIGC技术将继续得到提高，同时也将与人工智能技术紧密结合，在更多的领域得到广泛应用。
 

一、AIGC所有方向的学习路线

AIGC所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照下面的知识点去找对应的学习资源，保证自己学得较为全面。

二、AIGC必备工具

工具都帮大家整理好了，安装就可直接上手！

三、最新AIGC学习笔记

当我学到一定基础，有自己的理解能力的时候，会去阅读一些前辈整理的书籍或者手写的笔记资料，这些笔记详细记载了他们对一些技术点的理解，这些理解是比较独到，可以学到不一样的思路。

四、AIGC视频教程合集

观看全面零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。

五、实战案例

纸上得来终觉浅，要学会跟着视频一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

​