Stable Diffusion健康审查机制

一、简介

目前sd官方已经对健康审查代码删除了，为了在某些场合下炼丹过程中不生成奇奇怪怪的东西，就需要重新启用健康审查。

我们软件版本是使用了B站秋叶的整合包，目前3台机器测试均通过。

ps:测试os均为Windows，linux版未经测试

二、步骤

 历史代码本来存在safety_checker机制，但在最新源码已无法查询到，相关历史源码可从各大论坛获取，下图贴上部分实现代码

# safety_model_id = "CompVis/stable-diffusion-safety-checker"
# safety_feature_extractor = AutoFeatureExtractor.from_pretrained(safety_model_id)
# safety_checker = StableDiffusionSafetyChecker.from_pretrained(safety_model_id)

# def check_safety(x_image):
#     safety_checker_input = safety_feature_extractor(numpy_to_pil(x_image), return_tensors="pt")
#     x_checked_image, has_nsfw_concept = safety_checker(images=x_image, clip_input=safety_checker_input.pixel_values)
#     assert x_checked_image.shape[0] == len(has_nsfw_concept)
#     for i in range(len(has_nsfw_concept)):
#         if has_nsfw_concept[i]:
#             x_checked_image[i] = load_replacement(x_checked_image[i])
#     return x_checked_image, has_nsfw_concept

健康审核功能复用是作为一个拓展插件加入到sd中，需要用到两个文件：1、审核插件；2、审核模型

其中审核插件可以在github获取，保存到sd的extensions路径下https://github.com/AUTOMATIC1111/stable-diffusion-webui-nsfw-censorhttps://github.com/AUTOMATIC1111/stable-diffusion-webui-nsfw-censor

审核模型可以在huggingface官网获取，新建目录并保存。目录路径为：sd根目录/CompVis/stable-diffusion-safety-checkerhttps://huggingface.co/CompVis/stable-diffusion-v1-4/tree/main/safety_checkerhttps://huggingface.co/CompVis/stable-diffusion-v1-4/tree/main/safety_checker三、实现效果

当检测到prompt或者图片含有不健康的内容时，输出的图片将会被打上黑码具体效果如下：

 

 但在生成的时候控制台还是会出现模糊的不健康预览，只是到最后图片生成的时候调用了safety_check把整个图片涂黑，这个需要注意