SD-如何训练自己的Lora模型

官方地址:GitHub - bmaltais/kohya_ss

尝试过mac和Ubuntu,装上后都会有问题

Windows按照官方步骤安装即可

第一步

git clone https://github.com/bmaltais/kohya_ss.git
cd kohya_ss

python -m venv venv
.\venv\Scripts\activate

pip install torch==1.12.1+cu116 torchvision==0.13.1+cu116 --extra-index-url https://download.pytorch.org/whl/cu116
pip install --use-pep517 --upgrade -r requirements.txt
pip install -U -I --no-deps https://github.com/C43H66N12O12S2/stable-diffusion-webui/releases/download/f/xformers-0.0.14.dev0-cp310-cp310-win_amd64.whl

cp .\bitsandbytes_windows\*.dll .\venv\Lib\site-packages\bitsandbytes\
cp .\bitsandbytes_windows\cextension.py .\venv\Lib\site-packages\bitsandbytes\cextension.py
cp .\bitsandbytes_windows\main.py .\venv\Lib\site-packages\bitsandbytes\cuda_setup\main.py

accelerate config

第二步

.\venv\Scripts\activate

python .\tools\cudann_1.8_install.py

第三步

gui.bat

第四步

打tag

第五步

这里改一下

然后开始训练

第六步

安装扩展:GitHub - kohya-ss/sd-webui-additional-networks

使用时勾上

异常点

过程中如果报错,可能的原因

1、显存不足

2、模型没下载完

3、cuda没安装

进入虚拟环境后,执行

python -c "import torch; print(torch.cuda.is_available())"

结果为True说明已安装

一、安装NVIDIA CUDA

下载地址:https://developer.nvidia.com/cuda-downloads

安装方法

wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu1604/x86_64/cuda-ubuntu1604.pin sudo mv cuda-ubuntu1604.pin /etc/apt/preferences.d/cuda-repository-pin-600 sudo apt-key adv --fetch-keys https://developer.download.nvidia.com/compute/cuda/repos/ubuntu1604/x86_64/7fa2af80.pub sudo add-apt-repository "deb https://developer.download.nvidia.com/compute/cuda/repos/ubuntu1604/x86_64/ /" sudo apt-get update sudo apt-get -y install cuda

二、安装NVIDIA cuDNN

下载地址:https://developer.nvidia.com/rdp/cudnn-archive

安装方法

sudo  dpkg -i cudnn-local-repo-ubuntu1804-8.8.1.3_1.0-1_amd64.deb

三、安装NVIDIA NCCL

下载地址:https://developer.nvidia.com/nccl/nccl-legacy-downloads

安装方法

sudo  dpkg -i nccl-local-repo-ubuntu1804-2.8.4-cuda11.2_1.0-1_amd64.deb

<think>好的,用户想了解如何使用Stable Diffusion框架训练LoRa模型。首先,我需要回忆之前提供的引用内容,看看有哪些信息可以利用。引用1提到需要准备数据集,设置参数,加载预训练模型,以及正则化的使用。引用2和3则补充了训练工具和具体步骤,比如使用秋枼大佬的训练器,计算训练步数等。 接下来,用户可能需要的是一步步的指导,从准备数据到训练完成。我需要确保每个步骤都清晰,并且覆盖关键点,比如数据集处理、参数设置、训练命令和结果测试。同时,根据用户的问题,生成的相关问题需要围绕训练中的常见难点,比如参数调整、过拟合处理、模型应用等。 还要注意用户提到的系统级指令,比如数学表达式要用$...$,独立公式用$$...$$。不过在训练LoRa的流程中可能涉及到的公式不多,但如果有的话需要正确应用。例如,计算训练步数的公式需要按照要求格式来写。 另外,用户引用的内容中有提到正则化、继续训练等,这些要点需要整合到回答中,并且正确标注引用标识。比如在数据准备部分提到正则化图片的放置,引用1;在参数设置提到继续训练,引用1和3。 最后,确保回答结构清晰,分步骤说明,语言简洁,符合中文表达习惯。同时,生成的相关问题要针对训练过程中可能遇到的疑问,帮助用户进一步深入学习。</think>### Stable Diffusion框架训练LoRA模型完整流程 #### 一、数据准备阶段 1. **素材收集**:准备20-50张目标主体的高质量图片(如人脸需多角度、多表情) 2. **预处理规范**: - 统一分辨率至$512×512$或$768×768$ - 使用SD自带的预处理工具自动生成文字描述 - 创建`/train/[主题名]`文件夹存放训练图片与对应txt描述文件[^2] #### 二、参数设置关键点 ```python # 典型参数配置示例 { "model_name": "sd-v1-5-pruned", # 基础模型 "batch_size": 4, # VRAM<8G建议设为2 "learning_rate": 1e-4, # 常用1e-4到1e-6 "max_train_steps": 2000, # 计算公式: "network_dim": 128, # 网络维度(32-256) "save_every_n_epochs": 1 # 保存频率 } ``` 训练步数计算公式:$$总训练步数 = \frac{图片数量 \times 单图重复次数}{batch\_size}$$[^3] #### 三、训练执行命令 ```bash accelerate launch train_network.py \ --pretrained_model_name_or_path=./model/sd-v1-5-pruned.ckpt \ --train_data_dir=./train/your_subject \ --resolution=512 \ --output_dir=./output \ --network_module=networks.lora \ --max_train_steps=2000 ``` #### 四、结果测试验证 1. 将生成的`.safetensors`文件放入`/models/Lora` 2. 在SD的prompt中输入触发词: ``` <lora:your_model_name:0.8> ``` 3. 通过调整权重系数(0.6-1.2)观察生成效果[^1] #### 五、常见优化策略 1. **过拟合处理**:启用正则化需准备100+类别图片放入`/reg`文件夹[^1] 2. **中断续训**:在参数设置中指定`--resume`参数加载上次的检查点[^2] 3. **效果增强**:结合Dreambooth进行联合训练
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值