ControlNet之黑白照片复原+上色

黑白照片修复，是一个比较有挑战、热门的图像处理任务。其中，训练算法模型，标注数据集，都是一件比较有挑战的任务。对于没有基础的人而言，如何做出自己的修复模型呢？本片将通过开源的ControlNet模型实现清晰、简单的黑白照片修复。

效果图展示

首先，我们直接看黑白照片的复原上色效果图对比：
我们给出一张原始的低分辨率的黑白照片，如下所示：

通过ControlNet可控生成与原图一致的高清、彩色图像，如下所示：

进一步高分辨率的修复效果如下：

我们再给出一个示例如下所示：
下图是一张原始的黑白图，

通过我们的教程，可以生成高清的图片如下所示：

---

ControlNet安装

记录一下它的安装过程；
秋叶包已经包含了ControlNet插件，如果你的不包含的话，可以在扩展里找到进行一键安装，具体方法： Stable Diffusion WebUI -> 扩展 -> 可用 -> 加载 -> sd-webui-controlnet -> install

具体的操作流程可以参考一下链接：controlnet-install

ControlNet的使用

我们的使用过程，参考如何用Stable Diffusion 把黑白老照片变成彩色高清图？教程来了！

首先，我们将选择一张低分辨率的黑白照片作为我们色彩恢复和图像修复工作的对象。接下来，我们将对ControlNet进行必要的操作，以实现这一目标。

本文相关模型，脚本下载地址为：
ioclab_sd15_recolor.safetensors模型下载地址:
https://huggingface.co/lllyasviel/sd_control_collection/tree/main
大模型v2-1_768-ema-pruned.ckpt下载地址：
https://huggingface.co/stabilityai/stable-diffusion-2-1/tree/main
VAE”模型下载地址：
https://drive.google.com/file/d/1ARtDMia3_CbwNsGxxGcZ5UP75W4PeIEI/view

1、生成彩色图，文生图；

1.打开 “Stable Diffusion” ，在 “ControlNet Unit 0” 上传一张准备好的照片，然后勾选 “启用” 和 “完美像素模式” 。如下图所示：

2.然后，在控制类型上选择 “Recolor(重上色)” ,预处理器选择 “recolor_luminance” ，模型选择 “ioclab_sd15_recolor [6641f3c6]”。如下图所示：

3.点击 “ControlNet Unit 1”，放上选好的图片，勾选 “启用” 和 “完美像素模式” ，在控制类型选择上面选择 “Depth（深度）” 模型选择 “ioclab_sd15_recolor [6641f3c6]” 预处理器选择 “depth_zoe”。如下图所示：

4.设置好ControlNet，然后就要选择一个人物写实模型，可以写相关的提示词，也可以不写。如下图所示：

6.设置自己的参数，详情看下图：

生成图片如下所示：

2、从彩色图到高清图，后期处理；

其中主要是改的参数是 “缩放比例” 和 “GFPGAN”，其他默认就可以。
效果图如下所示：

如果对上面图片效果仍然不满意就可以试一下图生图

3、更加高清，细节更清晰，图生图

1.选择“v2-1_768-ema-pruned.ckpt”大模型和“vqgan_cfw_00011_vae_only.ckpt”VAE 模型，具体如下图所示：

2，设置生成参数：

3.启用“Tiled Diffusion”以及“Tiled VAE”，并且配置好相关参数，具体如下图所示：


配置完之后生图片如线图所示：

总结

从最初的黑白模糊照片到现在的高清彩色照片的显著进步，这正是ControlNet技术强大之处的体现。它不仅代表了技术的飞跃，同时也象征着我们对清晰视觉体验的不懈追求。