Stable Diffusion【插件篇】：使用After Detailer实现人脸修复

最新推荐文章于 2024-05-23 10:25:30 发布

程序员小八

最新推荐文章于 2024-05-23 10:25:30 发布

阅读量741

点赞数 19

本文链接：https://blog.csdn.net/z099164/article/details/138792034

版权

在使用SD绘图的时候，默认的分辨率大小是512*512，这样设置的好处是出图效率高。但是如果涉及到人全身照的时候，经常会出现一个问题：脸部崩。主要原因是在一个比较低的像素画布上，绘制一个全身图，脸部能分配到的像素不够了。我们来看一下效果。

一. 使用高分辨率修复

上面图片的提示词：tunning female model, full body,seaside landscape, rocky cliffs, clear blue sky, white sand, flowing white dress, sunlight streaming through hair, captivating eyes, high level of detail, masterpiece（提示词中包含有full body，目的就是出一个全身图）。

我们尝试采用高分辨率修复看一下效果。

为了保证图片的一致，我们保持随机数种子一致。

点击生成按钮，效果如下：

即使使用了高清修复，我们发现脸部还是有些拉胯。可见即使使用高分辨率修复，一方面生成的图片分辨率发生了变化，另一方面生成图片效果并不是特别理想。

那么有没有办法在分辨率为512*512人物全身照的情况下正常展示人脸呢，这个就是我们今天要介绍的插件：After Detailer。

今天我们演示使用的是LibLibAI, 在LiblibAI里面集成了After Detailer插件，在这里也介绍一下After Detail插件的安装方法。

二. After Detailer插件的安装

插件地址：https://github.com/Bing-su/adetailer.git
如果无法下载，请看文末直接获取哦

我们也可以将安装包拷贝到对应的/…/stable-diffusion-webui/extensions/目录下面。

安装完成后，重启SD Web UI即可。

三. After Detailer插件的介绍

After Detailer插件的主界面如下。

After Detailer插件支持多通道，可以同时开多个单元，比如在一张照片中同时修复脸部和手部。

After Detailer启用：在使用的时候需要选中开启。

After Detailer模型：

After Detailer插件支持修复脸部、手部、和全身。但是就目前使用情况来看，修复脸部效果最好，堪称完美，修复手部和全身效果还不是太好，需要继续完善功能。

上面是常用的一些模型，如果有些模型没有的话，可以在huggingface网站进行下载：https://huggingface.co/Bingsu/adetailer/tree/main。
（如果无法下载，请看文末直接获取哦）

提示词：修复脸部、手部、全身用到的正向、负面提示词，只描述需要修复的部分即可。可以和文生图的提示词不一致。默认可以不输入。

检测/蒙版/重绘：

这些参数的设置和人脸修复的实现机制有关系。人脸修复的原理大致如下：首先，需要准备一张进行人脸修复的原始图像。插件程序会定位原始图像中人脸的中心，并确定脸部的遮罩范围。然后，在遮罩范围内增加一些噪点，并将其输入局部重绘模块，重新绘制脸部的遮罩范围。也就是说，脸部修复涉及到脸部检测、遮罩生成以及局部重绘这三个步骤。分别对应上面检测、蒙版、重绘参数设置。

目前默认的参数值适用于大部分的场景，大家直接使用默认值参数的即可，无需做太多的参数调整。这里就不展开说明了。

四. After Detailer插件的使用

继续以上面的例子，先看看如何使用After Detail插件修复脸部。

我们选择开启After Detailer插件，同时模型选择mediapipe_face_full。为了便于查看使用After Detailer插件的效果，这里我们将面部修复和高分辨率修复关闭掉。其他的参数设置维持不变。

最终生成的图片效果如下。一张美女的脸效果非常好。

我们可以在正向提示词框中输入人物表情，比如: smile(微笑)。

我们看一下生成图片的效果。

下面我们看一下一张图片中2张人脸崩的问题是否也可以修复。

我们生成一张图片中2张人脸崩的图片。

提示词：(female model wearing flowing white dress and male model:1.5), full body, looking at viewer,seaside landscape, rocky cliffs, clear blue sky, white sand, high level of detail, masterpiece

大模型：ChilloutMix_Chilloutmix-Ni-pruned-fp32-fix.safetensors

生成图片效果如下：