【非conda部署bmaltais:kohya_ss环境步配置骤及报错笔记】

最新推荐文章于 2024-10-08 11:32:26 发布
最新推荐文章于 2024-10-08 11:32:26 发布
阅读量1k 收藏 22
点赞数 16
分类专栏： Lora训练 文章标签： 笔记 人工智能 python github
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_63986612/article/details/141280434
版权

非conda部署bmaltais:kohya_ss环境步骤及报错笔记

Windows部署条件

还是建议conda安装稳妥一点直接安装环境的话pip版本可能要调很久

  1. kohya_ssGithub链接: https://github.com/bmaltais/kohya_ss
git clone --recursive https://github.com/bmaltais/kohya_ss.git
  1. Toolkit默认安装位置快捷命令（方便查找）
%ProgramFiles%\NVIDIA GPU Computing Toolkit\CUDA\

原默认路径：
在这里插入图片描述
3. （非必要）cudnn加速库下载参考链接: Cuda和cuDNN安装教程(超级详细)
4. （非必要）cuda toolkit下载链接: cuda-11-8-0-download

我们只需要将下解压好的cuda工具放到克隆好的kohya_ss就行了：

Optional: CUDNN 8.9.6.50 The following steps are optional but will
improve the learning speed for owners of NVIDIA 30X0/40X0 GPUs. These
steps enable larger training batch sizes and faster training speeds.

Run .\setup.bat and select 2. (Optional) Install cudnn files (if you
want to use the latest supported cudnn version).

  1. python下载链接: python-3.10.11
  2. git下载链接: https://git-scm.com/download/win
  3. Visual Studio 2022可再发行版下载链接: https://aka.ms/vs/17/release/vc_redist.x64.exe

（其他帮助）卸载电脑里面老的python版本

1.若没有找到曾经下载过的python安装包的exe文件那就去python:
镜像网站
2.找到类似python-3.10.11-amd64.exe 之后启动setup文件先进行修复Repair重启电脑再次回来点击Uninstall
3.找到%UserProfile%\AppData\Local\Programs\Python目录下面曾经老版本的python文件删除然后去%USERPROFILE%\AppData\Local删除曾经安装时间段的python文件夹删除掉列如pip ,python，Package
Cache文件夹。
4.系统环境变量也要记得修改，如果要彻底一点可以win+R 输入 regedit进入注册表找打：计算机\HKEY_CURRENT_USER\SOFTWARE\PythonXXX
删除即可，但是一般占不了多少磁盘内存也不需要这样做万一删除错了电脑就危险了。
5.还有就是一般C:\Users\XXXX\AppData\Local\pip\cachepip缓存所以不需要再次等待第三方库下载过程。

我遇到的问题大全

1.我的 setuptools版本为65.5.0但是还是出现了问题我选择先更新pip

在这里插入图片描述

python.exe -m pip install --upgrade pip

在这里插入图片描述

2.我不知道是不是前面安装包超时导致的后面环境accelerate依赖安装失败总之先安装subprocess试试，setuptools版本也更新到了报错要求的72.2.0所链接失败的版本，结果还是不行

在这里插入图片描述

2.1去python轮子上找到我想要的对应的库:piwheels.org

在这里插入图片描述

3.接着解决没有accelerate模块的问题，找到accelerate相对合适的版本，不会与pyymal包冲突的版本

在这里插入图片描述

4.没办法我只能尝试用requirements.txt下载环境

pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

在这里插入图片描述

4.1再次尝试1. Install kohya_ss GUI 网络链接超时缺失的包还是下载不成功那只能用老办法去找轮子了

在这里插入图片描述

5.运行选择6.（Optional）Launch Kohya_ss GUI in browser 等了许久webui界面出来了，其他安装包的版本问题还得慢慢解决

在这里插入图片描述

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple D:\whl\accelerate-0.26.1-py3-none-any.whl
  • 报错说描述需要bitsandbytes0.43.0版本但是更新老是下载超时轮子，只能暂时忽略这个warning
pip install tensorboard -i https://pypi.tuna.tsinghua.edu.cn/simple

bitsandbytes对应版本
bitsandbytes下载链接: bitsandbytes-0.42.0-py3-none-any.whl

  • tensorboard、tensorflow、onnxruntime的话我是按自己需求选择下载，以后出问题再说
    在这里插入图片描述
LR939
关注
专栏目录
ERROR conda.core.link:_execute(502): error occurred while installing conda-forge::setuptools 解决方案
weixin_43178406的博客
01-31 7万+
本文主要介绍了ERROR conda.core.link:_execute(502): An error occurred while installing package mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge::setuptools-65.5.1-pyhd8ed1ab_0.FileNotFoundError(2, 系统找不到指定的文件。, None, 2) 解决方案，希望能对新手有所帮助。 文章目录 1. 问题描述 2. 解决方案
Py之bitsandbytes：bitsandbytes的简介、安装、使用方法之详细攻略
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
06-22 2万+
​ Py之bitsandbytes：bitsandbytes的简介、安装、使用方法之详细攻略 目录 bitsandbytes的简介 bitsandbytes的安装 bitsandbytes的使用方法 bitsandbytes的简介 bitsandbytes是对CUDA自定义函数的轻量级封装，特别是针对8位优化器、矩阵乘法（LLM.int8()）和量化函数。 GitHub：https://github.com/TimDettmers/bitsandbytes
lora训练傻瓜包的安装使用教程、报错解决方案（kohya_ss和LoRA_AllInOnev2.1）
LY_LM的博客
09-19 2233
kohya_ss GUI新版的安装以及LoRA_AllInOnev2.1版本的安装和报错解决方案。
chatglm4部署以及集成langchain
weixin_43866043的博客
09-09 648
这通常意味着你传递给 HuggingFacePipeline 的自定义 pipeline 对象没有正确设置 task 属性。HuggingFace 的 pipeline 对象通常应该有 task 属性来标识它的类型，例如 “text-generation”, “translation”, “summarization” 等。代码在调用 HuggingFacePipeline 的 _generate 方法时遇到了 AttributeError，其中 self.pipeline 的对象没有 task 属性。
bitsandbytes 入门教程
gitblog_00708的博客
08-08 440
bitsandbytes 入门教程 bitsandbytes8-bit CUDA functions for PyTorch项目地址:https://gitcode.com/gh_mirrors/bi/bitsandbytes 1. 项目介绍 bitsandbytes 是一个用于 PyTorch 的库，专注于8位优化器和量化算法。它旨在通过高效的k比特量化技术，使得大型语言模型在资源受限的环境下...
Windows11安装kohya_ss详细步骤（报错、踩坑）
fanfanfan的博客
06-05 1万+
kohya_ss的快速安装，快来开启你的LoRA训练之旅吧！
kohya_ss环境部署及训练
m0_46926492的博客
10-27 2876
【代码】kohya_ss环境部署及训练。
stable diffusion webui和kohya_ss部署：基于conda虚拟环境部署及训练
lanlin的博客
01-04 873
stable diffusion webui 和 kohya_ss部署：基于conda虚拟环境部署及训练。
conda小白创建python虚拟环境报错WARNING conda.exceptions:print_unexpected_error_report(1216)
weixin_47757103的博客
09-25 6238
conda安装后建立虚拟环境保持
ModuleNotFoundError: No module named ‘_sysconfigdata_x86_64_conda_cos7_linux_gnu‘解决方案
weixin_43178406的博客
09-25 6万+
本文主要介绍了ModuleNotFoundError: No module named '_sysconfigdata_x86_64_conda_cos7_linux_gnu’解决方案，希望能对学习python的同学们有所帮助。 文章目录 1. 问题描述 2. 解决方案
Unable to load extension: pydevd_plugins.extensions.types.pydevd_plugin_pandas_types 解决方案
热门推荐
weixin_43178406的博客
11-17 8万+
本文主要介绍了在运行jupyter notebook时报错Unable to load extension: pydevd_plugins.extensions.types.pydevd_plugin_pandas_types解决方案，希望能对新手有所帮助。 文章目录 1. 问题描述 2. 解决方案
【个人错误记录】conda.exceptions:print_unexpected_error_report(1251): KeyError(‘pkgs_dirs‘)
qq_41815479的博客
02-08 2273
WARNING conda.exceptions:print_unexpected_error_report(1251): KeyError('pkgs_dirs')的问题解决方法
Windows 安装kohya
qiaojiang_的博客
01-16 782
我自己电脑上有其他版本的Python，运行setup.bat显示python版本不对，不想把新装的python添加到环境变量里。python安装选项里能关的全关掉（注意tcl/tk要安装！下载链接:https://www.python.org/ftp/python/3.10.9/python-3.10.9-amd64.exe。管理员身份启动powershell（主要为了安装cuda）在setup.bat中添加代码。进入虚拟环境安装cuda。运行setup.bat。安装太慢或长时间不动。
Dreambooth、Lora 模型训练器—Kohya项目本地安装
jiangmop的博客
06-21 439
kohya_ss项目本地部署
（笔记）第三期书生·浦语大模型实战营（十一卷王场）–书生基础岛第5关---XTuner 微调个人小助手认知
haidizym的博客
10-06 387
学员闯关手册：https://aicarrier.feishu.cn/wiki/ZcgkwqteZi9s4ZkYr0Gcayg1n1g?课程视频：https://www.bilibili.com/video/BV1tz421B72y/课程文档：关卡作业：https://github.com/InternLM/Tutorial/blob/camp3/docs/L1/XTuner/task.md开发机平台：https://studio.intern-ai.org.cn/
C++学习笔记----8、掌握类与对象（四）---- 不同类型的数据成员（1）
weixin_71738303的博客
10-05 893
c++对于数据成员给了你许多选项。除了在类中声明简单的数据成员，可以生成静态数据成员供所有类的对象共享，const成员，引用成员，reference-to-const成员，等等。本节我们解释一下这些不同类型的数据成员的细节。
gligen安装部署笔记
最新发布
jacke121的专栏
10-08 100
gligen安装部署笔记
Collecting package metadata (current_repodata.json): failed WARNING conda.exceptions:print_unexpected_error_report(1251): KeyError('pkgs_dirs') Traceback (most recent call last):
06-08
这个错误可能是由于conda配置文件中缺少某些必要的信息导致的。以下是一些可能的解决方法： 1. 检查conda配置文件是否存在。您可以运行以下命令查看配置文件的位置： ``` conda config --show-sources ``` 如果配置文件不存在，则可以使用以下命令创建一个新的配置文件： ``` conda config --set auto_activate_base false ``` 2. 确保conda配置文件中包含正确的路径和环境变量。您可以手动编辑配置文件以添加缺少的信息。配置文件通常位于以下位置： - Windows: `C:\Users\username\.condarc` - macOS 和 Linux: `/Users/username/.condarc` 您可以在配置文件中添加以下内容： ``` pkgs_dirs: - /path/to/conda/pkgs/ ``` 其中`/path/to/conda/pkgs/`是您想要使用的conda包存储目录的实际路径。 3. 如果以上方法都无法解决问题，请尝试卸载并重新安装conda。您可以使用以下命令卸载conda： ``` conda install anaconda-clean anaconda-clean ``` 然后您可以重新安装conda。 如果以上解决方法都无法解决问题，请尝试在conda社区论坛或GitHub上查找类似的问题，并尝试通过提问或查找解决方法来解决问题。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值