参考:
GitHub - DjangoPeng/LLM-quickstart: Quick Start for Large Language Models (Theoretical Learning and Practical Fine-tuning) 大语言模型快速入门(理论学习与微调实战)
分析解决【No module named ‘triton‘】的问题_error caught was: no module named ’triton-CSDN博客
全程在Anaconda powershell Prompt 管理员模式下启用
第一步:安装CUDA Toolkit驱动,直接用这个,选择自己的系统,本地安装,千万注意需要装在C盘(默认位置不要挪动)
第二步:安装 Python 环境管理工具 Miniconda
:::info
默认安装
安装完成后,建议新建一个 Python 虚拟环境,命名为 peft。
conda create -n peft python=3.10
conda activate peft(后期每次进入都需要使用这个命令)
:::
第三步:安装python依赖包(重点)
torch>=2.1.2==2.3.0.dev20240116+cu121
transformers==4.37.2
ffmpeg==1.4
ffmpeg-python==0.2.0
timm==0.9.12
datasets==2.16.1
evaluate==0.4.1
scikit-learn==1.3.2
pandas==2.1.1
peft==0.7.1
accelerate==0.26.1
autoawq==0.2.2
optimum==1.17.0
auto-gptq==0.6.0
bitsandbytes>0.39.0==0.41.3.post2
jiwer==3.0.3
soundfile>=0.12.1==0.12.1
librosa==0.10.1
gradio==4.13.0
trl
第一个点
因为环境已经搭好,所以这个文件直接放在C:\WINDOWS\system32里面
第二个点
autoawq==0.2.2这个依赖在windows上没有对应版本,需要下载triton-2.0.0-cp310-cp310-win_amd64.whl到C:\WINDOWS\system32使用,直接使用命令python.exe -m pip install triton-2.0.0-cp310-cp310-win_amd64.whl
下载地址在这里,https://huggingface.co/r4ziel/xformers_pre_built/resolve/main/triton-2.0.0-cp310-cp310-win_amd64.whl
命令执行完使用pip install cmake安装这个依赖,然后就可以完美执行这个requirements.txt文件了,pip install -r requirements.txt
第三个点
全程启用梯子的Tun模式,保障下载不会出错。
第四步:安装和配置 Jupyter Lab
这里没有什么大问题,主要确认一下jupyter_lab_config.py放在哪里,一般在C:\Users\xxxx.jupyter。
还有一个点,nohup启用是在Ubuntu环境下的,在使用powershell的管理员模式下使用就可以使用了(前面全程也是在Anaconda powershell Prompt 管理员模式)
Start-Process -NoNewWindow -FilePath “jupyter” -ArgumentList “lab --port=8000 --NotebookApp.token=‘1234.com’ --notebook-dir=./”