AI绘画Stable Diffusion自制素材工具： layerdiffusion插件—一键轻松生成图片透明背景

画画的小强

于 2024-09-30 10:37:19 发布

阅读量1k

点赞数 21

本文链接：https://blog.csdn.net/a1353192296/article/details/142651368

版权

大家好，我是画画的小强

今天给大家分享一款AI绘画的神级插件—LayerDiffusion。

Layerdiffusion是一个用于stable-diffusion-webui 的透明背景生成（不是生成图再工具扣图，是直接生成透明背景透明图像）插件扩展，它可以生成透明背景的图像和图层。目前已经实现了图像生成和基本的图层功能。它的主要特点如下：

透明图像生成：它可以处理透明的玻璃，半透明的发光效果等，这些都是简单的背景移除工具无法实现的。同时还可以保留细节的毛发，胡须，和复杂的结构，如骨架等。
图层生成：利用已发布的不同功能的safetensors模型，它可以将SDXL模型转换为一个图层生成模型，例如：可以根据前景，背景，或混合图像生成相应的图层。这样都可以实现更灵活的编辑和组合，比如将一个人物从一个场景移动到另一个场景，或者改变图像的风格和氛围等。
轻量化和高效：使用了一些轻量化的模型结构，如VAE（Variational Autoencoder）和Conv（Convolutional）层，来减少VRAM资源的需求，提高图像生成的速度和质量。它还可以与不同的采样器（如DPM++，Euler A，UniPC等）配合使用，以达到最佳的效果。

我给大家准备了一份完整版的AI绘画全套学习资料，且已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

插件安装

stable-diffusion-webui 的插件安装方法，通过Extensions扩展，通过Git地址安装插件。

插件地址：https://github.com/layerdiffusion/sd-forge-layerdiffusion

注意：该方法需要科学上网，如无法使用，请扫描免费获取插件安装包哦

插件使用

首先设置绘图模型、绘图提示词、反向提示词、采样器、迭代步数等。然后在插件tab栏目找到LayerDiffusion，启用layerdiffusion，并设置使用方法。

LayerDiffusion插件目前共支持有6种方式，对应的模型都会在运行时自动下载：

Only Generate Transparent Image（attn|conv 2种） : 这种方法只会生成透明的图像，不会生成任何层。它需要使用layer_xl_transparent_attn.safetensors或layer_xl_transparent_conv.safetensors来改变SDXL的潜在分布，以及vae_transparent_encoder.safetensors和vae_transparent_decoder.safetensors来进行VAE编码和解码。
From Background to Blending: 这种方法会根据背景图像生成一个与之融合的图像，不会生成前景图像。它需要使用layer_xl_bg2ble.safetensors来改变SDXL的潜在分布。
From Foreground to Blending: 这种方法会根据前景图像生成一个与之融合的图像，不会生成背景图像。它需要使用layer_xl_fg2ble.safetensors来改变SDXL的潜在分布。
From Foreground and Blending to Background: 这种方法会根据前景图像和融合图像生成一个与之匹配的背景图像。它需要使用layer_xl_fgble2bg.safetensors来改变SDXL的潜在分布。
From Background and Blending to Foreground: 这种方法会根据背景图像和融合图像生成一个与之匹配的前景图像。它需要使用layer_xl_bgble2fg.safetensors来改变SDXL的潜在分布。

sd-forge-layerdiffusion插件体验

本文所使用的绘图模型为：samaritan3dCartoon_v40SDXL模型，它主要用于绘制撒玛利亚人3d卡通模型。

注：如果想一次生成多张图像抽卡选择，设置生成批次数量，而不是每个批次的Bath Size数量。

01. 可爱猫咪

cutie-pie cat wearing mittens, contrapposto, strong polar filter, evening light, hyper realistic ,foreshortening

02. 皮克斯风格男孩

3d animation of HawkJim, pixar style, 15 years old, male, gold earring, short pirate tail, brown jacket, black shirt, looking at viewer, neutral expression, high quality, stars in sky background

03. 情侣自拍照

3D cinematic film.(caricature:0.2), 4k, highly detailed, Smiling woman taking selfie with boyfriend through smart phone, ackpackers,nose ring, nature background