稳定扩散WebUI深度图脚本指南
项目介绍
稳定扩散WebUI深度图脚本是一款专为AUTOMATIC1111的Stable Diffusion WebUI设计的插件。它能够生成高分辨率的深度地图,不仅支持从生成或自定义深度映射创建图像,还进一步扩展功能至创建三维立体图像对(并排或立体视图)、法线贴图及3D模型。通过集成Rembg,该脚本也实现了批处理能力、视频处理功能,并能在不依赖Stable Diffusion WebUI的情况下独立运行。技术上,它利用了Marigold、MiDaS、ZoeDepth等知名仓库中的模型和代码,以及AdelaiDepth中的LeReS模型,确保了深度映射的真实感。
项目快速启动
安装步骤
-
克隆仓库: 使用Git克隆项目到本地。
git clone https://github.com/thygate/stable-diffusion-webui-depthmap-script.git
-
安装依赖: 在项目根目录下,执行以下命令来安装必要的Python库。
pip install -r requirements.txt
-
在Stable Diffusion WebUI中安装:
- 在WebUI的“Extensions”标签页下的“Installed”子标签点击“Check for Updates”,然后选择“Apply and Restart UI”以更新插件,如果已预安装。
- 或者,对于独立运行,进入项目目录并运行
main.py
。python main.py
-
配置模型权重下载: 模型权重将在首次使用时自动下载,并存储在相应的模型文件夹如
/models/midas
,/models/leres
, 和/models/pix2pix
。ZoeDepth模型则存于torch缓存中。
应用案例和最佳实践
一旦脚本被成功集成,用户可以:
- 在“txt2img”或“img2img”模式下从脚本选择框中选择“DepthMap”脚本。
- 利用“Depth”选项卡处理现有图片,进行深度计算。
- 根据需求选择不同的模型,适应GPU或CPU运算,CPU适合VRAM受限的情况。
- 创作具有深度效果的艺术作品,增强图像的维度感,或为3D项目准备素材。
典型生态项目
虽然此项目直接服务于Stable Diffusion WebUI,其间接影响涵盖了更广泛的创意和技术领域,包括但不限于:
- 3D艺术家和设计师:利用生成的深度图和3D模型,加速场景构建和渲染过程。
- 虚拟现实(VR)内容开发者:将图像转换为适用于VR体验的深度感知内容。
- 自动化处理流程:结合批处理功能,自动化生产一系列具有深度信息的内容用于数据分析或艺术创作。
通过这个插件,Stable Diffusion WebUI用户能够探索深度视觉效果的新维度,为数字内容创作带来革新性的工具集。