Windows11安装微调训练环境部署快速入门,Miniconda+Jupyter Lab

参考:
GitHub - DjangoPeng/LLM-quickstart: Quick Start for Large Language Models (Theoretical Learning and Practical Fine-tuning) 大语言模型快速入门(理论学习与微调实战)
分析解决【No module named ‘triton‘】的问题_error caught was: no module named ’triton-CSDN博客
全程在Anaconda powershell Prompt 管理员模式下启用

第一步:安装CUDA Toolkit驱动,直接用这个,选择自己的系统,本地安装,千万注意需要装在C盘(默认位置不要挪动)

CUDA Toolkit 12.1 Downloads

第二步:安装 Python 环境管理工具 Miniconda

:::info
默认安装
安装完成后,建议新建一个 Python 虚拟环境,命名为 peft。
conda create -n peft python=3.10
conda activate peft(后期每次进入都需要使用这个命令)
:::

第三步:安装python依赖包(重点)
torch>=2.1.2==2.3.0.dev20240116+cu121
transformers==4.37.2
ffmpeg==1.4
ffmpeg-python==0.2.0
timm==0.9.12
datasets==2.16.1
evaluate==0.4.1
scikit-learn==1.3.2
pandas==2.1.1
peft==0.7.1
accelerate==0.26.1
autoawq==0.2.2
optimum==1.17.0
auto-gptq==0.6.0
bitsandbytes>0.39.0==0.41.3.post2
jiwer==3.0.3
soundfile>=0.12.1==0.12.1
librosa==0.10.1
gradio==4.13.0
trl
第一个点

因为环境已经搭好,所以这个文件直接放在C:\WINDOWS\system32里面

第二个点

autoawq==0.2.2这个依赖在windows上没有对应版本,需要下载triton-2.0.0-cp310-cp310-win_amd64.whl到C:\WINDOWS\system32使用,直接使用命令python.exe -m pip install triton-2.0.0-cp310-cp310-win_amd64.whl
下载地址在这里,https://huggingface.co/r4ziel/xformers_pre_built/resolve/main/triton-2.0.0-cp310-cp310-win_amd64.whl
命令执行完使用pip install cmake安装这个依赖,然后就可以完美执行这个requirements.txt文件了,pip install -r requirements.txt

第三个点

全程启用梯子的Tun模式,保障下载不会出错。

第四步:安装和配置 Jupyter Lab

image.png
这里没有什么大问题,主要确认一下jupyter_lab_config.py放在哪里,一般在C:\Users\xxxx.jupyter。
还有一个点,nohup启用是在Ubuntu环境下的,在使用powershell的管理员模式下使用就可以使用了(前面全程也是在Anaconda powershell Prompt 管理员模式
Start-Process -NoNewWindow -FilePath “jupyter” -ArgumentList “lab --port=8000 --NotebookApp.token=‘1234.com’ --notebook-dir=./”

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值