【kohya】训练自己的LoRA模型

已于 2023-09-24 23:38:13 修改
阅读量6.1k 收藏 17
点赞数 7
分类专栏： stable diffusion AI绘画 文章标签： kohya
于 2023-09-24 23:00:02 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013066244/article/details/133156454
版权

文章目录

序言

在把玩stable diffusion的webUI和comfyUI后，思考着自己也微调一个个性化风格的checkpoint、LyCORIS或LoRA。

做好，环境问题搞崩心态的准备。
我的旧电脑，GPU才4G，直接跑蹦了三次。

在没有好电脑的情况下，还是别自己制作模型啦，费时间、费电脑，GPU不够的情况下，肯定跑不出来。

准备环境

python：3.10.9（官方推荐），官方强调一定不能是3.11+，否则跑不了。

准备图片

大概需要准备10-20张图片。
这里我们用华仔的图片：

https://stable-diffusion-art.com/wp-content/uploads/2023/09/lora_training_captions.zip

在这里插入图片描述

处理图片

这个是在线图片处理网站：https://www.birme.net/

在这里插入图片描述

下载kohya_ss代码

https://github.com/bmaltais/kohya_ss#setup

git clone https://github.com/bmaltais/kohya_ss.git

下载好了后，在目录下打开cmd
运行：

.\setup.bat

安装过程中，会有报错信息，如下面我的安装信息，就有error错误的。
这时，我们再单独安装他们即可。

我的安装信息如下：

07:30:01-098969 INFO     Python 3.10.9 on Windows
07:30:01-114591 INFO     nVidia toolkit detected
07:30:22-313445 INFO     Torch 2.0.1+cu118
07:30:27-317148 INFO     Torch backend: nVidia CUDA 11.8 cuDNN 8700
07:30:27-524602 INFO     Torch detected GPU: NVIDIA GeForce GTX 960M VRAM 4096 Arch (5, 0) Cores 5
07:30:27-546322 INFO     Installing modules from requirements_windows_torch2.txt...
07:30:27-571730 INFO     Installing package: torch==2.0.1+cu118 torchvision==0.15.2+cu118 --index-url
                         https://download.pytorch.org/whl/cu118
07:30:31-836436 INFO     Installing package: xformers==0.0.21
07:31:57-013124 INFO     Installing package: bitsandbytes==0.35.0
07:32:51-316790 INFO     Installing package: tensorboard==2.12.3 tensorflow==2.12.0
07:37:59-014316 ERROR    Error running pip: install --upgrade tensorboard==2.12.3 tensorflow==2.12.0
07:37:59-014316 INFO     Installing modules from requirements.txt...
07:37:59-014316 WARNING  Package wrong version: accelerate 0.23.0 required 0.19.0
07:37:59-014316 INFO     Installing package: accelerate==0.19.0
07:38:03-229388 INFO     Installing package: aiofiles==23.2.1
07:38:06-751172 INFO     Installing package: altair==4.2.2
07:38:38-267155 INFO     Installing package: dadaptation==3.1
07:38:51-524642 INFO     Installing package: diffusers[torch]==0.18.2
07:38:59-209713 INFO     Installing package: easygui==0.98.3
07:39:02-399649 WARNING  Package wrong version: einops 0.6.1 required 0.6.0
07:39:02-415277 INFO     Installing package: einops==0.6.0
07:39:06-136609 INFO     Installing package: fairscale==0.4.13
07:39:25-893111 INFO     Installing package: ftfy==6.1.1
07:39:29-690634 INFO     Installing package: gradio==3.36.1
07:40:36-392666 WARNING  Package wrong version: huggingface-hub 0.17.2 required 0.15.1
07:40:36-400190 INFO     Installing package: huggingface-hub==0.15.1
07:40:40-941236 INFO     Installing package: invisible-watermark==0.2.0
07:41:24-129685 INFO     Installing package: lion-pytorch==0.0.6
07:41:30-507921 INFO     Installing package: lycoris_lora==1.8.3
07:41:37-013021 INFO     Installing package: open-clip-torch==2.20.0
07:41:50-051513 INFO     Installing package: opencv-python==4.7.0.68
07:42:25-089723 INFO     Installing package: prodigyopt==1.0
07:42:28-598267 INFO     Installing package: pytorch-lightning==1.9.0
07:42:38-209014 WARNING  Package wrong version: rich 13.5.3 required 13.4.1
07:42:38-215011 INFO     Installing package: rich==13.4.1
07:42:43-854357 WARNING  Package wrong version: safetensors 0.3.3 required 0.3.1
07:42:43-860357 INFO     Installing package: safetensors==0.3.1
07:42:48-383515 INFO     Installing package: timm==0.6.12
07:42:54-170484 INFO     Installing package: tk==0.1.0
07:42:57-803992 INFO     Installing package: toml==0.10.2
07:43:01-527071 WARNING  Package wrong version: transformers 4.33.2 required 4.30.2
07:43:01-533037 INFO     Installing package: transformers==4.30.2
07:43:24-744913 INFO     Installing package: voluptuous==0.13.1
07:43:29-529060 INFO     Installing package: wandb==0.15.0

修改pyvenv.cfg

我的路径：E:\openai\project\kohya_ss\venv
我习惯性的改为true。原因是：1.来节省空间，2来已经安装过的模块，就不用再安装一遍了。

include-system-site-packages = true

启动界面

在kohya_ss目录下，双击gui.bat文件，进行启动。
在这里插入图片描述

访问地址

http://127.0.0.1:7860/

这个地址和stable diffusion webUI是同一个地址。

生成字幕

打开我们启动的页面：
路径：Utilities – Captioning – BLIP Captioning（WD14 Captioning也可以）

选择文件夹，选择我们处理好图片的文件夹
在这里插入图片描述
最后点击：Caption images。就可以帮我们生成字幕了。
命令行中打印的日志如下：

To create a public link, set `share=True` in `launch()`.
19:29:13-558295 INFO     Captioning files in E:/下载/AI绘图/AIGC/hanli...
19:29:13-561260 INFO     ./venv/Scripts/python.exe "finetune/make_captions.py" --batch_size="1" --num_beams="1"
                         --top_p="0.9" --max_length="75" --min_length="5" --beam_search --caption_extension=".txt"
                         "E:/下载/AI绘图/AIGC/hanli"
                         --caption_weights="https://storage.googleapis.com/sfr-vision-language-research/BLIP/models/mode
                         l_large_caption.pth"
Current Working Directory is:  E:\openai\project\kohya_ss
load images from E:\下载\AI绘图\AIGC\hanli
found 13 images.
loading BLIP caption: https://storage.googleapis.com/sfr-vision-language-research/BLIP/models/model_large_caption.pth
Downloading (…)solve/main/vocab.txt: 100%|███████████████████████████████████████████| 232k/232k [00:00<00:00, 360kB/s]
Downloading (…)okenizer_config.json: 100%|██████████████████████████████████████████████████| 28.0/28.0 [00:00<?, ?B/s]
Downloading (…)lve/main/config.json: 100%|████████████████████████████████████████████████████| 570/570 [00:00<?, ?B/s]
100%|█████████████████████████████████████████████████████████████████████████████| 1.66G/1.66G [09:01<00:00, 3.30MB/s]
load checkpoint from https://storage.googleapis.com/sfr-vision-language-research/BLIP/models/model_large_caption.pth
BLIP loaded
100%|██████████████████████████████████████████████████████████████████████████████████| 13/13 [00:30<00:00,  2.36s/it]
done!
19:41:08-386110 INFO     ...captioning done

可以看出，它下载了一个1.6G的文件，这个问题，存在路径：C:\Users\yutao\.cache\torch\hub\checkpoints\model_large_caption.pth
可以看出存放在C盘，非常不友好。

生成字幕，效果如下：
在这里插入图片描述
随便打开一个：

在这里插入图片描述

准备训练的文件夹

设置准备训练的文件夹。
在这里插入图片描述

点击Prepare training data按钮，会生成如下图所示的文件夹：

在这里插入图片描述

配置训练参数

路径： LoRa – Training – source model

在这里插入图片描述
路径： LoRa – Training – Folders

在这里插入图片描述
路径： LoRa – Training – parameters – basic

在这里插入图片描述

参数：

Optimizer extra arguments : scale_parameter=False relative_step=False warmup_init=False

在这里插入图片描述

在这里插入图片描述
路径： LoRa – Training – parameters – advanced
在这里插入图片描述

在这里插入图片描述

参数说明：LoRA-training-parameters

开始训练

点击“Start training” 开始训练。

遇到的问题：

这里我遇到了一个警告：

WARNING[XFORMERS]: xFormers can't load C++/CUDA extensions. xFormers was built for:
    PyTorch 2.0.1+cu118 with CUDA 1108 (you have 2.0.1+cpu)
    Python  3.10.11 (you have 3.10.9)
  Please reinstall xformers (see https://github.com/facebookresearch/xformers#installing-xformers)
  Memory-efficient attention, SwiGLU, sparse and more won't be available.

上面是说，CUDA没法使用，也就意味着，我们无法调用GPU来跑，只能调用CPU来跑。

执行如下命令：

pip uninstall -y torch torchvision torchaudio

pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118

即可解决

参考地址：

SDXL LORA Training locally with Kohya

How to train Lora models

AnimateDiff｜高质量文本到动画视频生成

LoRA-training-parameters

手把手教你玩转LoRA训练——用Kohya_ss打造专属AI画师
weixin_41871092的博客
04-11 1057
让它能快速学会新风格，而不用重新训练整个大模型！Kohya_ss的界面可能有点复杂，但我们只关注。​（支持Windows/Linux/Mac）在开始训练前，先确保你的文件夹结构。LoRA就像给AI模型加了个。​（让AI知道图片里有什么）​（20-50张就够了！
Kohya‘s GUI：让AI模型训练触手可及
最新发布
weixin_41544125的博客
03-26 601
Kohya’s GUI 作为一款面向未来的交互式模型训练工具，通过直观的图形界面和强大的功能，极大地降低了模型训练的门槛，让更多人能够参与到 AI 模型的开发和应用中来。它不仅支持多种微调方法，适应不同的任务需求，还提供了便捷的数据准备和训练监控工具，使得模型训练过程更加高效和可控。未来，随着人工智能技术的不断发展，Kohya’s GUI 有望在以下几个方面进行改进和拓展。首先，进一步优化界面设计，使其更加友好和易用，降低新手的学习曲线。
【kohya_ss】从0开始，训练一个LoRA模型
AI数据工厂
10-21 2644
本文提供了从环境配置到LoRA训练再到最后的效果测试的整个流程，供想要玩玩LoRA的同学参考。
Kohya 训练器 Stable Diffusion工作流中训练LoRA模型方法
lp646494766164的博客
04-27 2580
学习训练集图片的强度。也就是说，训练集的调性会影响使用LoRA出图时的调性。Alpha和Rank的比值等于我们使用LORA时的“减弱权重”程度，Alpha一般不超过Rank。一步为根据训练标注生成图片，并把它与训练集里的某一步图片进行对比，把他们的差异微调嵌入向量。但在Simo发掘出了最早的LORA食用方法后，有许多开发者在这个基础上对算法不断做改进，开发出了许多的“增强版”的LORA。LoHa: 使用哈达玛积对权重重新参数化，适合较简单的概念或多概念训练,可以追求更好的泛化能力对了，花的时间更长。
完整的 LoRA 模型训练步骤：如何使用 Kohya_ss 进行 LoRA 训练
weixin_42010722的博客
02-20 1148
使用kohya_ss来进行lora训练，难点就是各种报错的问题如果你自己的CUDA，python，pytorch版本还和官网推荐的不一样，更是报错更多，Kohya_ss 是一个功能强大的工具，专为 Stable Diffusion 模型的训练设计，可以帮助用户使用 LoRA 方法对模型进行微调。在本文中，我们将详细介绍如何使用 Kohya_ss 进行 LoRA 模型训练的完整步骤，包括环境配置、数据处理、以及模型训练等。
【Lora】使用kohya_ss训练Lora模型，解决Can‘t load tokenizer报错
天枢破军的博客
08-11 567
本文是AI绘画子模型Lora的训练工具kohya_ss的报错解决
保姆级最详细Kohya_ss gui训练StableDiffusion SDXL自定义Lora流程及参数解析
m0_37660632的博客
05-28 7633
本文详细讲解了使用Kohya_ss gui训练SD lora的流程，包含数据处理、参数解析、报错分析等部分，并且在参数部分加入了很多个人的经验和理解，希望能对大家有所帮助。同时本文还附带了BLIP运行所需的两个大权重文件，以解决BLIP无法运行的问题。
kohya_ss环境部署及训练
m0_46926492的博客
10-27 3853
【代码】kohya_ss环境部署及训练。
Kohya Trainer：深度学习模型训练的利器
gitblog_01026的博客
09-25 868
Kohya Trainer：深度学习模型训练的利器 kohya-trainer 项目地址: https://gitcode.com/gh_mirrors/ko/kohya-trainer ...
使用Kohya_ss训练Stable Diffusion Lora
培根芝士的专栏
11-12 3464
LoRA 生成的模型较小，训练速度快, 推理时需要 LoRA 模型+基础模型，LoRA 模型会替换基础模型的特定网络层，所以它的效果会依赖基础模型。
用于扩散模型的LoRA训练脚本使用kohya-ss的训练器
02-05
【标题】"用于扩散模型的LoRA训练脚本使用kohya-ss的训练器" 涉及的核心技术是扩散模型（Diffusion Models）和LoRA（Low-Rank Adaptation），结合了kohya-ss提供的训练工具。在深度学习领域，扩散模型是一种生成模型...
LoRA训练脚本使用kohya-ss的训练器，用于扩散模型
08-03
在这个场景中，`LoRA训练脚本`是基于`kohya-ss的训练器`来实现这一目标，专门针对`扩散模型`进行训练。 首先，让我们深入了解扩散模型。扩散模型是一种生成模型，它的基本思想是通过逐步添加噪声到数据中，然后再...
LoRA训练脚本使用kohya-ss的训练器，用于扩散模型.zip
08-08
在这个压缩包中，我们关注的是如何利用kohya-ss的训练器来实现LoRA优化方法在扩散模型上的应用。 扩散模型是一种在机器学习，特别是自然语言处理领域广泛应用的模型，它通过逐步地“扩散”噪声来模拟数据的生成过程...
lora训练模型-lora-scripts-main.zip
08-13
描述中提到的“LoRA训练脚本使用kohya-ss的训练器，用于扩散模型”暗示了这些脚本是基于kohya-ss开发的，这是一个可能的开源项目或者个人贡献者的工具，用于扩散模型的训练。扩散模型是一种机器学习模型，特别适用于...
如何训练一个非常像的真人LoRA
mate1357的博客
05-09 2682
LoRA模型的训练目标是生成的图片与原训练图像高度相似。这是通过在Diffusion模型上添加额外权重来实现的，这些权重被保存在一个称作LoRA文件的单独文件中。可以将LoRA文件视为Diffusion模型的一种插件，这种插件会根据训练过程不断调整权重，以达到与原始训练图相似的效果。通过本文，您应该对如何训练一个高质量的真人LoRA模型有了全面的了解，从准备数据集到参数设置，再到最终的测试。随着技术的不断进步，LoRA训练变得越来越简单，希望您能够利用这些知识创造出令人惊叹的人物图像。
如何一键使用 ComfyUI 进行本地 FLUX.1 LoRA 的训练
m0_71746299的博客
09-11 5667
最近在尝试进行 FLUX.1 的 LoRA 训练，以前没有 SD1.5 和 SDXL 的训练经验，网上看到 FLUX.1 的 LoRA 炼起来效果比较好，就试了几种方案来看看效果。这个文章更多是介绍如何使用 ComfyUI 来进行 LoRA 的训练，一些训练的参数我也还在调试中，后面会陆续更新。在进行 LoRA 训练的时候，数据集也就是用于训练模型的图像，个人认为是模型训练中最重要的部分，需要花大量的时间进行整理、清洗、标注等，好的图像能带来更佳的生成效果，比如可以参考以下这些要素。
2分钟教你配置好LoRA模型训练器—Kohya
kganamg的博客
01-18 3602
重启电脑后使用Git clone进行官方程序的安装安装同时阅读附带文档（windows版），其中包含所有安装所需的脚本命令。
LoRA训练环境Kohya-ss的排障记录
AppleII的专栏
04-15 2904
参考：https://blog.csdn.net/qq_24118527/article/details/90579328。FileNotFoundError: [WinError 2] 系统找不到指定的文件。解决：原来安装的diffusers是0.15版本，需要回退到0.14版本。shell=False改为shell=True。
【comfyui教程】2024 必知！comfyui 用工作流实现 flux lora 训练，简单到爆
2401_84760719的博客
11-23 1378
comfyui教程：2. 工作流思路此次lora训练分3个工作流（当然大家也可以选并成1个）第一个工作流数据集打标**流程1：**收集图片例如我今天想要训练惠安女服装的lora，就去收集这方面的图片，新建文件夹归档。流程2：制作数据集运行工作流开始反推提示词，最终导出来的形式，一张图片配一个记事本第二个工作流LORA训练**流程1：**设置分辨率、添加路径、设置触发词分辨率：根据显存选择，是512*512、768*768、1024*1024，用哪个就开哪个节点。添加路径：选择打标数据集的路径。
kohya_ss
03-14
<think>好的，我现在需要处理用户关于Kohya_SS的技术内容的问题。首先，用户提到了几个引用，其中引用[1]、[2]、[3]都涉及kohya_ss-docker项目，而引用[4]是关于知识图谱的，可能与当前问题关联不大。所以主要关注前三篇引用。 用户的问题是想了解或使用Kohya_SS相关的技术内容，特别是IT技术方面。根据提供的引用，kohya_ss-docker项目主要是将kohya_ss的训练WebUI适配到Linux系统，并利用Docker进行容器化部署。因此，回答需要围绕项目介绍、技术架构、使用指南和应用场景展开。 接下来，我需要确保回答结构清晰，分点说明。首先介绍项目背景，接着是技术架构中的关键点，比如Docker容器化、WebUI适配、硬件兼容性等。然后提供部署步骤，可能需要包括安装Docker、克隆仓库、配置环境等步骤。之后，讨论应用场景，比如模型微调、本地训练、创意实验等。此外，用户示例中的相关问题部分需要生成相关问题，可能需要包括优化方法、常见问题、与Stable Diffusion的关系等。 需要注意的是，用户提供的引用中没有详细的技术步骤，比如具体的命令或配置文件，所以回答可能需要更一般化的指导，或者建议用户参考官方文档。同时，引用中的信息需要正确引用，比如在提到项目优势时标注对应的引用编号。 还要检查是否符合系统级指令：使用中文，数学公式正确（虽然这个问题可能不涉及数学公式），生成相关问题，结构清晰。另外，回答中引用的部分需要添加引用标识，例如[^1]、[^2]等。 现在组织内容： 1. 项目介绍：基于引用[1][2][3]，说明kohya_ss-docker的作用，将WebUI适配Linux，利用Docker容器化，方便训练Stable Diffusion模型。 2. 技术架构：分点说明Docker容器化、WebUI适配、硬件兼容性、模块化设计，引用对应的引用来源。 3. 使用指南：分步骤说明安装Docker，克隆仓库，配置环境，启动容器，访问WebUI，可能结合引用中的信息，但具体命令可能需要通用步骤，因为引用中没有详细命令。 4. 应用场景：模型微调、本地训练、创意实验、团队协作，引用相关部分。 5. 相关问题：生成与部署、优化、应用、比较相关的问题。 需要确保语言通顺，技术术语准确，并且每个引用只在相关部分末尾标注。例如，提到项目介绍时标注[^3]，技术架构中的Docker部分标注[^2]等。 可能遇到的难点是引用信息较为笼统，缺乏具体的技术细节，因此在部署步骤部分可能需要更通用的指导，或者建议用户查阅官方文档。同时，需要确保生成的相关问题与Kohya_SS的技术内容相关，而不是泛泛的问题。 最后检查是否符合所有系统指令，特别是引用标识的正确添加和结构清晰。</think>### Kohya_SS技术解析与应用指南 Kohya_SS是一个专注于Stable Diffusion模型训练的框架，而`kohya_ss-docker`项目通过Docker容器化技术将其WebUI适配到Linux系统，简化了本地训练流程。以下从技术架构、部署方法和应用场景展开说明： --- #### 一、技术架构核心 1. **Docker容器化** 项目利用Docker将依赖环境（如Python库、CUDA驱动）封装为独立容器，避免系统环境冲突，同时支持快速部署和跨平台迁移。 数学公式示例：容器资源隔离性可表示为$$C = \{E, D, R\}$$，其中$E$为环境依赖，$D$为数据卷，$R$为资源限制。 2. **WebUI适配Linux** 原版kohya_ss的Web界面针对Windows优化，此项目通过调整系统调用和文件路径格式（如将`\`替换为`/`），使其兼容Linux的POSIX标准。 3. **硬件兼容性** 支持NVIDIA GPU加速，通过Docker的`--gpus all`参数调用CUDA库，提升训练效率。CPU模式下则自动降级为轻量级运算。 --- #### 二、部署步骤 1. **安装Docker与NVIDIA驱动** ```bash sudo apt-get install docker.io sudo apt-get install nvidia-container-toolkit ``` 2. **拉取项目代码** ```bash git clone https://github.com/your-repo/kohya_ss-docker.git ``` 3. **构建并启动容器** ```bash cd kohya_ss-docker docker-compose up --build ``` 4. **访问WebUI** 浏览器输入`http://localhost:7860`即可使用训练界面。 --- #### 三、典型应用场景 1. **模型微调** 用户可基于预训练的Stable Diffusion模型，注入自定义数据集（如特定画风图片），生成个性化AI模型。 2. **本地化创意实验** 开发者无需依赖云端算力，直接在本地硬件上测试提示词组合、LoRA参数等，降低试错成本。 3. **团队协作开发** Docker镜像支持导出分享，便于统一团队成员的训练环境。 ---
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

山鬼谣me

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值