【实战】Stable Diffusion抠图插件爬坑经历,SD实操案例

今天给大家分享使用后期处理插件stable-diffusion-webui-
rembg实现抠图功能。

一、安装步骤

1、主页面,依次点击 扩展 -> 可下载 -> 加载扩展列表

在这里插入图片描述

2、搜索rembg

3、点击安装并等待安装完成

在这里插入图片描述

4、点击检查更新,会发现已安装列表会多出现刚安装的stable-diffusion-webui-rembg

5、点击应用更改并重启按钮,等待重启完成

在这里插入图片描述

二、使用方法

重新打开webui会发现,后期处理tab下多出了移除背景配置

在这里插入图片描述

支持的模型

在这里插入图片描述

咱们就先选择u2net模型试下效果,第一次使用会下载模型,需要根据自身的网速等待一段时间

在这里插入图片描述

在这里插入图片描述

经过漫长的等待,居然报错了,明天解决吧在这里插入图片描述

三、U2Net模 型技术原理

U-Net
是一种常用的用于图像分割的卷积神经网络架构

U2Net 是在 U-Net
的基础上进行了改进,引入了更多的特征融合和上采样路径,并且使用了更多的深度监督机制来提高性能,广泛应用于图像编辑、虚化背景、视频处理等。

U2Net 分为两个版本:U2Net 和 U2Netp。

U2Net 是原始版本,具有更好的性能,但需要更多的计算资源。

U2Netp 是U2Net的一个轻量级版本,具有更低的模型大小和更快的推理速度,但性能略低于原始版本。

AI绘画SD整合包、各种模型插件、提示词、AI人工智能学习资料都已经打包好放在网盘中了,有需要的小伙伴文末扫码自行获取。

关于AI绘画技术储备

学好 AI绘画 不论是就业还是做副业赚钱都不错,但要学会 AI绘画 还是要有一个学习规划。最后大家分享一份全套的 AI绘画 学习资料,给那些想学习 AI绘画 的小伙伴们一点帮助!

这份完整版的AI绘画(SD、comfyui、AI视频)整合包已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费

在这里插入图片描述

对于0基础小白入门:

如果你是零基础小白,想快速入门AI绘画是可以考虑的。

一方面是学习时间相对较短,学习内容更全面更集中。
二方面是可以找到适合自己的学习方案

包括:stable diffusion安装包、stable diffusion0基础入门全套PDF,视频学习教程。带你从零基础系统性的学好AI绘画!

零基础AI绘画学习资源介绍

👉stable diffusion新手0基础入门PDF👈

(全套教程文末领取哈)
在这里插入图片描述

👉AI绘画必备工具👈

在这里插入图片描述

温馨提示:篇幅有限,已打包文件夹,获取方式在:文末

👉AI绘画基础+速成+进阶使用教程👈

观看零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。

在这里插入图片描述

温馨提示:篇幅有限,已打包文件夹,获取方式在:文末

👉12000+AI关键词大合集👈

在这里插入图片描述

这份完整版的AI绘画(SD、comfyui、AI视频)整合包已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费

在这里插入图片描述

### Stable Diffusion 图像分割模型的使用与下载 Stable Diffusion 是一种基于扩散模型框架的大规模生成模型,广泛应用于图像生成、编辑以及语义理解等领域。对于图像分割任务,通常会结合 ControlNet 或其他辅助模块来增强其功能[^3]。 #### 1. **ControlNet 的作用** ControlNet 是一个附加网络结构,能够指导 Stable Diffusion 更好地遵循特定条件输入(如草图、深度图或分割掩膜)。通过这种方式,它可以现更精确的图像编辑效果,例如抠图作中的对象保留和背景替换[^3]。 #### 2. **Stable Diffusion 抠图的具体方法** 为了现图像分割或抠图功能,可以按照以下方式配置: - 使用预训练好的图像分割模型(如 SAM - Segment Anything Model)生成目标物体的二值掩膜。 - 将该掩膜作为控制信号传递给 ControlNet 模块。 - 调整 pipeline 参数以适应具体需求,比如设置 `mask` 和 `image` 输入参数[^3]。 以下是 Python 现的一个简单例子: ```python from diffusers import StableDiffusionInpaintPipeline, ControlNetModel, UniPCMultistepScheduler import torch # 加载模型 controlnet = ControlNetModel.from_pretrained("lllyasviel/sd-controlnet-seg", torch_dtype=torch.float16) pipe = StableDiffusionInpaintPipeline.from_pretrained( "runwayml/stable-diffusion-inpainting", controlnet=controlnet, safety_checker=None, torch_dtype=torch.float16 ) # 设置调度器加速推理过程 pipe.scheduler = UniPCMultistepScheduler.from_config(pipe.scheduler.config) # 推理函数定义 def run_inpaint(image_path, mask_path, prompt="a cat sitting on a bench"): from PIL import Image init_image = Image.open(image_path).convert("RGB").resize((512, 512)) mask_image = Image.open(mask_path).convert("L").resize((512, 512)) output = pipe(prompt=prompt, image=init_image, mask_image=mask_image) return output.images[0] result = run_inpaint("./example.jpg", "./mask.png") result.save("output.png") ``` #### 3. **下载资源** 官方仓库提供了多种版本的 Stable Diffusion 及其扩展组件,可以通过 Hugging Face Hub 下载对应权重文件。例如: - 基础版:`runwayml/stable-diffusion-v1-5` - Inpaint 版本:`runwayml/stable-diffusion-inpainting` - Segmentation 控制网路:`lllyasviel/sd-controlnet-seg`[^3] 需要注意的是,部分高级特性可能依赖闭源数据集或者额外授权许可,请仔细阅读相关文档说明后再决定是否部署至际场景中去应用这些工具。 ---
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值