Ubuntu部署StableDiffusion超级完全版(含Contronet,局域网访问，Lora，Flask项目调用API及相关疑难问题解决)

已于 2024-09-04 09:46:14 修改
阅读量1k 收藏 12
点赞数 22
文章标签： linux stable diffusion ubuntu 自然语言处理 人工智能 pytorch nlp
于 2024-07-21 16:33:40 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/XZMaster/article/details/140245562
版权

Linux部署StableDiffusion(Ubuntu18.04)

文章目录

一. 前情提示

需要科学上网。。。

二. 创建虚拟环境

StableDiffusion最低支持的python版本是3.10.6，所以虚拟环境下的python版本应大于等于3.10.6。这里我使用的是3.11.2版本的python。

conda create -n SD python=3.11.2

三. 激活虚拟环境

进入虚拟环境

conda activate SD

切换进虚拟环境下的目录

cd xxxxxxxxxx

四. 查看cuda和nvidia驱动版本

2张RTX 2070，NVIDIA驱动版本为525.60.13，CUDA版本为12.2（CUDA版本＞=12.1 不然报错 难顶）。

nvidia-smi

在这里插入图片描述

五. 下载项目源码

git clone https://github.com/AUTOMATIC1111/stable-diffusion-webui.git

在这里插入图片描述

六. 初步运行项目

cd进StableDiffusion目录

cd  xxxx

运行项目

python launch.py

or

./webui.sh

自动下载安装torch，torchvision，clip，requirements等依赖文件，如果没有科学上网，很大概率由于网络原因出现报错，可以多试几次，随缘成功。

在这里插入图片描述

七. 报错解决

报错一
上述依赖安装成功后，会自动启动StableDiffusion，但是由于没有手动部署模型，会报错，这里需要自己下载模型。
在这里插入图片描述

报错二
NansException: A tensor with all NaNs was produced in Unet. This could be either because there’s not enough precision to represent the picture, or because your video card does not support half type. Try setting the “Upcast cross attention layer to float32” option in Settings > Stable Diffusion or using the --no-half commandline argument to fix this. Use --disable-nan-check commandline argument to disable this check
这个错误提示意味着在 Unet 中生成了全为 NaN（Not a Number，非数值）的张量。这可能是因为图像表示精度不足，或者你的显卡不支持 half 类型。要解决这个问题，你可以尝试在设置中将 “Upcast cross attention layer to float32” 选项设置为 float32，或者在命令行中使用 --no-half 参数。另外，你也可以通过使用 --disable-nan-check 参数来禁用这个检查。

解决办法：打开stable-diffusion-webui的根目录，然后打开launch.py,修改如下： 来源 stable-diffusion-webui出现NansException: A tensor with all NaNs was produced in Unet
添加 import sys，sys.argv.append(“–no-half”)如下两行代码

def main():
    import sys   #添加这行
    sys.argv.append("--no-half") # 添加这行
    if args.dump_sysinfo:
        filename = launch_utils.dump_sysinfo()
        print(f"Sysinfo saved as {filename}. Exiting...")
        exit(0)
    launch_utils.startup_timer.record("initial startup")
    with launch_utils.startup_timer.subcategory("prepare environment"):
        if not args.skip_prepare_environment:
            prepare_environment()
    if args.test_server:
        configure_for_tests()
    start()

if __name__ == "__main__":
    main()

百分之90的问题都是版本太老(cuda,python,pytorch),网络不好原因和缺相关库导致的

八. 下载模型

这里我推荐ChilloutMix模型，可以生成出高质量且真实的亚洲人物图片，审美非常符合亚洲印象。
首先cd进stable-diffusion-webui/models/Stable-diffusion目录

cd stable-diffusion-webui/models/Stable-diffusion

下载模型

wget -O chilloutmix_NiPrunedFp32Fix.safetensors https://civitai.com/api/download/models/11745

本人这里因网络报错死活下载不了，直接科学上网去网站下了。 模型下载链接

报错
在使用ChilloutMix模型or其他模型（maybe）生成图片时这里会有一个报错
OSError: Can’t load tokenizer for ‘openai/clip-vit-large-patch14’. If you were trying to load it from ‘https://huggingface.co/models’, make sure you don’t have a local directory with the same name. Otherwise, make sure ‘openai/clip-vit-large-patch14’ is the correct path to a directory containing all relevant files for a CLIPTokenizer tokenizer.
Stable diffusion model failed to load

解决方法:（stable-diffusion-webui报OSError: Can‘t load tokenizer for ‘openai/clip-vit-large-patch14‘的正确解决方法）

在 stable-diffusion-webui根目录下的stable-diffusion-webui文件夹下创建openai文件夹，然后在openai文件夹下再创一个clip-vit-large-patch14文件夹（注意目录级别）。
在huggingface网站上下载以下13个文件。
在这里插入图片描述

将下载的文件全部拖进/stable-diffusion-webui/openai/clip-vit-large-patch14/目录下，如下图所示。
在这里插入图片描述

九. 实现StableDiffusion局域网访问

来源（Stable Diffusion XL LoRA 训练webui Linux服务器部署（保姆级教程））
在/anaconda3/venv/lib/python3.10/site-packages/gradio/文件夹下，找到networking.py，在28行左右，把默认IP改成服务器的IP

LOCALHOST_NAME = os.getenv("GRADIO_SERVER_NAME", "127.0.0.1")

改成

LOCALHOST_NAME = os.getenv("GRADIO_SERVER_NAME", "YOUR IP")

在121行左右也是同样的修改：

server_name = server_name or LOCALHOST_NAME

改成

server_name = "YOUR IP"

十. Contronet插件安装及下载对应模型

插件安装地址（https://gitcode.net/ranting8323/sd-webui-controlnet.git）
在这里插入图片描述
点击install后，重启StableDiffusion即可
在这里插入图片描述

下载模型 地址【科学上网】
总共有 14 个基础模型，依次下载模型名为「.pth」的文件
在这里插入图片描述
下载好后，放进models\ControlNet目录下。
在这里插入图片描述

十一. Lora模型

1.Windows训练版

[训练好之后上传到Ubuntu]（参考来源B站秋葉aaaki）
建议在windows端使用B站秋葉aaaki大神的Lora训练器来训练Lora模型。
下载地址
我下的是lora-scripts-v1.7.3版本的。
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
根据自己需要选择对应的训练设置，默认参数如下：

pretrained_model_name_or_path = "./sd-models/model.safetensors"//底模文件路径
train_data_dir = "./train/aki" //训练数据集路径，必须是64的倍数
resolution = "512,512" //分辨率大小
enable_bucket = true //启用 arb 桶以允许非固定宽高比的图片
min_bucket_reso = 256 //arb 桶最小分辨率
max_bucket_reso = 1_024 //arb 桶最大分辨率
output_name = "aki" //默认输出模型名称
output_dir = "./output" //默认输出目录，在安装Lora训练器的子目录下
save_model_as = "safetensors"//safetensors（推荐），ckpt，pt
save_every_n_epochs = 2 //每n轮保存一次模型
max_train_epochs = 10   //10-20个训练周期
train_batch_size = 1  //显存8G及以下填1
network_train_unet_only = false //默认false
network_train_text_encoder_only = false //默认false
learning_rate = 0.0001 //总学习率，低点也可以
unet_lr = 0.0001
text_encoder_lr = 0.00001
lr_scheduler = "cosine_with_restarts"
optimizer_type = "AdamW8bit" //优化器设置
lr_scheduler_num_cycles = 1
network_module = "networks.lora" //训练网络模块
network_dim = 32  //32or64 太大会增加训练难度 太小效果不好
network_alpha = 32
logging_dir = "./logs"
caption_extension = ".txt"
shuffle_caption = true
keep_tokens = 0
max_token_length = 255
seed = 1_337
prior_loss_weight = 1
clip_skip = 2 // 玄学一般用2
mixed_precision = "fp16"
save_precision = "fp16"
xformers = true
cache_latents = true
persistent_data_loader_workers = true
lr_warmup_steps = 0

点击开始训练即可
在这里插入图片描述

训练ing在这里插入图片描述
训练结束后在输出目录下可以看到训练出来的Lora模型。将训练好的Lora模型拖入Ubuntu Stable Diffusion 对应目录下的Lora文件夹。
在这里插入图片描述
启动Stable Diffusion，就可以看见训练好的Lora模型了。
在这里插入图片描述

2.Linux训练版（持续更新）

鉴于显卡大多存储于Linux服务器上，如果本地显卡显存小于<=8G，建议在Linux服务器上训练（比较麻烦，需要手动部署）
在这里插入图片描述

训练器来源
为了避免冲突，建议再用conda创建一个虚拟环境

在这里插入图片描述
python：3.10.9（官方推荐) 不能高于3.11.0，所以就用3.10.9吧。

conda create -n HOKYA python=3.10.9

conda activate HOKYA

在新建目录下通过运行以下命令克隆存储库，如果不加–recursive 后续会报错。

git clone --recursive https://github.com/bmaltais/kohya_ss.git

cd进子目录

cd kohya_ss

如果遇到权限问题，请setup.sh运行以下命令使脚本可执行

chmod +x ./setup.sh

通过执行以下命令来运行安装脚本

./setup.sh

如果出现下图这个提示
在这里插入图片描述
执行

sudo apt update -y && sudo apt install -y python3-tk

执行

./setup.sh

创建虚拟环境中
在这里插入图片描述
出现报错
在这里插入图片描述
在这里插入图片描述
因为没有1.17.1版本的onnxruntime-gp，所以就安装1.18.1版本的了。

pip install --upgrade onnxruntime-gpu==1.18.1

执行

./setup.sh

环境创建成功
在这里插入图片描述
执行

./gui.sh

报错
ERROR Could not load torch: cuDNN version incompatibility: PyTorch was compiled against (8, 7, 0) but found runtime version (8, 2, 0). PyTorch
already comes bundled with cuDNN. One option to resolving this error is to ensure PyTorch can find the bundled cuDNN.Looks like your
LD_LIBRARY_PATH contains incompatible version of cudnnPlease either remove it from the path or install cudnn (8, 7, 0)
这个错误提示意味着你安装的 PyTorch 版本与当前系统中的 cuDNN 版本不兼容。具体来说，PyTorch 编译时使用的 cuDNN 版本是 (8, 7, 0)，但在你的系统中发现的 cuDNN 运行时版本是 (8, 2, 0)。这种不匹配会导致运行时错误。

解决方法
不多赘述
参考 （保姆级图文详解）ubuntu下深度学习cuda+cudnn+anaconda3环境配置（看这一篇就够了）

3.下载现有的Lora模型（科学上网）

下载地址
点击Filters，勾选LoRA即可。
在这里插入图片描述

十二. 调用API（待更新）

1.API参数设置

2.postman调用API

3.Flask项目调用API

十三. 启动StableDiffusion

export CUDA_VISIBLE_DEVICES=1,0 
./webui.sh --api --no-half-vae  --no-gradio-queue
XZMaster
关注
AMD 7000系列显卡部署Stable Diffusion（Ubuntu 22.04）
dr_chenseu的博客
04-27 2046
Ubuntu 22.04 安装 ROCm6.0教程+踩坑由于之前已经安装了ROCm6.0, 所以后面部署SD用的都是6.0的依赖，也有些问题没有解决，如开启xFormers，主要是需要根据MarKA的文章，似乎5.7稳定支持，所以bug可能少一点？ROCm5.7请参考原文。本文代码的步骤大量搬运了MarKA的文章，并根据遇到的问题做了修改和补充。
ControNet光纤中继器模块安装指南
03-18
ControlNet光纤中继器模块安装指南介绍的是如何正确安装和配置Allen-Bradley的ControNet中继器模块。ControNet是一种工业网络通讯协议，用于连接自动化设备和控制设备，支持实时数据交换。ControNet标准定义了设备...
【保姆级教程】服务器Ubuntu22.04系统下的Stale diffusion+Webui部署安装
weixin_62798503的博客
07-23 1404
在modules文件夹中找到 launch_utils.py 下的prepare_environment()函数，将其中涉及到 github 仓库的依赖，全部添加 https://mirror.ghproxy.com/镜像,如下图。这样设置后,局域网内的其他计算机可以访问UI,如果配置了端口转发,互联网上的计算机也可以访问。–port 30132: 设置服务器监听的端口为业务端口,默认端口是7860,这里设置为30132。启动成功后，访问http://主机IP:端口。使用vim修改配置文件。
让 stable diffusion 局域网访问：详细解析配置步骤【Stable Diffusion 实战教程】
最新发布
月流霜的专栏
08-24 163
如果您遇到了局域网无法访问的问题，本文将帮助您详细检查和配置 stable-diffusion-webui，以确保其在您的网络环境中正常工作。在启动 stable-diffusion-webui 之前，请确保您已经正确安装了所有必要的依赖项，并且您的环境变量设置正确。在 stable-diffusion-webui 的启动脚本中，通常会有一个参数来控制监听地址。如果上述步骤都无法解决问题，您需要检查运行 stable-diffusion-webui 的设备的防火墙设置，确保允许通过指定的端口。
Stable Diffusion之Ubuntu下部署
宣晨光
04-11 2444
def git_clone() 函数开始处，添加return。# 注释以下 截图内容，允许root用户访问。使用国内镜像源，过程会比较漫长。# 再次复制 解压。
在Ubuntu22.04上部署Stable Diffusion
BBM的博客
01-04 2108
在AI绘画软件领域Stable-Diffusion（简称SD）在开源领域绝对是不二之选，他的插件方式可以让此软件具有更多的功能，开发者社群为此提供了大量免费高质量的外接预训练模型（fine-tune）和插件，并持续维护更新。在第三方插件和模型的加持下，SD拥有更加丰富的个性化功能，使用者可以生成更贴近需求的图片，甚至在 AI 视频特效、AI音乐生成等领域
【转载】Ubuntu 本地部署 Stable Diffusion web UI
Working harder, getting stronger!
03-11 520
Stable Diffusion 是一个潜在的文本到图像的扩散模型。与谷歌的Imagen 类似，这个模型使用了一个冻结的 CLIP ViT-L/14 文本编码器来调节模型的文本提示。凭借其860M 的 UNet 和 123M 的文本编码器，该模型相对较轻，在最少有 10GB VRAM 的 GPU 上运行。一个基于Gradio库的 Stable Diffusion 的 Web UI 界面。
最详细的Ubuntu服务器搭建Stable-Diffusion教程（无显卡，仅用CPU）
CSN-001的博客
04-09 1万+
后续步骤可以用conda新建一个虚拟环境进行，我的服务器是临时的，所以就直接在base环境下进行了。启动后安装很多依赖以及克隆相应github仓库，过程有报错的可以看附录解决方案并重新执行这一步。一路回车，遇到选择就yes（切记要yes，不然要手动添加环境变量）文件，启动web服务，并指定监听端口为1234（端口号随意），若是GPU环境的用户需要安装与cuda版本对应的。然后重新启动项目，此时能看到公网地址，说明成功。若想让服务能在公网上被其他用户访问，则需进入。下载一个模型，这里可以根据自己的需要下载。
Ubuntu部署Stable Diffusion WebUI应用
AI_Mind的博客
07-05 1182
一般是显卡的显存太小导致的，如果GPU显存比较小，建议不要画太大的图片，如果只有4GB的显存，又要画2000*3000的图片，肯定会报错的。①检查库文件路径：确认 libgthread-2.0.so.0 库文件是否存在于系统中，并且在正确的路径上。这个报错是典型的显存不足，例如4GB显存的显卡，画968*968分辨率图像是正常的，画968*1152的分辨率图像也是正常的，画968*1264图像就报上面的错误了。①检查训练过程中的损失函数：如果在训练过程中发现损失函数溢出，这可能导致NaNs Unet报错。
Ubuntu系统安装Stable Diffusionn教程
高性价比服务器就选：蓝易云
01-15 699
请注意，以上是一个简要的安装教程，实际操作中可能会涉及到更多的配置和细节。确保按照项目的官方文档进行操作，以获得最准确的安装和配置指导。在虚拟环境中或全局环境中，运行以下命令来安装Stable Diffusionn。安装完成后，你可以通过以下命令来运行Stable Diffusionn。打开终端，运行以下命令来安装必要的依赖项。为了隔离项目环境，你可以使用虚拟环境。
全网第一个系统的stable diffusion基础课，新手入门必看（下载地址）.txt
08-21
- **精选LoRA**：LoRA（Low-Rank Adaptation）是一种轻量级的模型微调技术，可以在不修改原始模型结构的情况下，通过少量数据进行快速适应，适用于特定任务的定制化需求。 - **精选Hypernetwork**：Hypernetworks是...
ControNet中继适配器模块安装指南
03-18
3. ControNet中继适配器模块的技术参数：比如提供的电压等级（24Vdc）、LED指示灯以及与ControNet协议相关的电气标准，如IEC/CISPR Publication 11 Group 1，说明了产品满足国际电磁兼容性要求。这些参数对于正确...
AB Logix5000 controlnet冗余网络硬件升级步骤及注意事项.doc
06-20
图文并茂详细介绍了AB Logix5000 controlnet冗余网络硬件升级步骤及注意事项，包含软件版本要求等。
contronet通信协议应用层协议格式是什么
05-25
ControNet通信协议的应用层协议格式如下： ``` +------------+-----------+------------+-------+----------+ | Message ID | Operation | Parameters | Flags | Checksum | +------------+-----------+-----------...
Ubuntu20.04安装配置stable diffusion 超详细教程
qq_41786546的博客
04-26 1889
stable diffusion ai image
Ubuntu 本地部署 Stable Diffusion web UI
engchina的专栏
05-09 2420
Ubuntu 本地部署 Stable Diffusion web UI
Ubuntu20.04本地部署Stable-Diffusion-webui AI绘画环境
formaever的专栏
03-19 1万+
下载完成后，把v2-1_768-ema-pruned.ckpt这个训练模型放入stable-diffusion-webui的models/Stable-diffusion目录下，这个目录专门存放用于生成AI绘图的绘图元素的基础模型库。原本打算在Windows下安装，网上有很多教程，也有很多大佬做了整合包，可是我的Windows系统下的显卡驱动版本太低，也没法升级，只能装CUDA9，导致安装torch会出现问题。我由于之前安装别的环境，已经装了cuda10.2版本，所以我就直接用这个版本了。
AMD显卡Ubuntu20.4系统下部署stable diffusion
热门推荐
volcanoyincan618的博客
03-16 1万+
但是很多小伙伴用的是AMD的独立显卡，而自从矿潮以来，显卡价格就居高不下，特别是英伟达的显卡，虽然它用AI作图有优势，但是贵的吓人，从哥布林洞窟里解救出来的RTX3070也还要2000多，简直离谱。那么今天呢我用的是ubuntu 20.4.5桌面版系统部署stable diffusion的教程，保证你能顺利跑起stable diffusion，因为我是从一个完全不懂linux系统的小白找教程一步一步部署下来的，你也能行！本次的部署环境呢，是AMD的独立显卡RX6600。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值