Windows11安装微调训练环境部署快速入门,Miniconda+Jupyter Lab

参考:
GitHub - DjangoPeng/LLM-quickstart: Quick Start for Large Language Models (Theoretical Learning and Practical Fine-tuning) 大语言模型快速入门(理论学习与微调实战)
分析解决【No module named ‘triton‘】的问题_error caught was: no module named ’triton-CSDN博客
全程在Anaconda powershell Prompt 管理员模式下启用

第一步:安装CUDA Toolkit驱动,直接用这个,选择自己的系统,本地安装,千万注意需要装在C盘(默认位置不要挪动)

CUDA Toolkit 12.1 Downloads

第二步:安装 Python 环境管理工具 Miniconda

:::info
默认安装
安装完成后,建议新建一个 Python 虚拟环境,命名为 peft。
conda create -n peft python=3.10
conda activate peft(后期每次进入都需要使用这个命令)
:::

第三步:安装python依赖包(重点)
torch>=2.1.2==2.3.0.dev20240116+cu121
transformers==4.37.2
ffmpeg==1.4
ffmpeg-python==0.2.0
timm==0.9.12
datasets==2.16.1
evaluate==0.4.1
scikit-learn==1.3.2
pandas==2.1.1
peft==0.7.1
accelerate==0.26.1
autoawq==0.2.2
optimum==1.17.0
auto-gptq==0.6.0
bitsandbytes>0.39.0==0.41.3.post2
jiwer==3.0.3
soundfile>=0.12.1==0.12.1
librosa==0.10.1
gradio==4.13.0
trl
第一个点

因为环境已经搭好,所以这个文件直接放在C:\WINDOWS\system32里面

第二个点

autoawq==0.2.2这个依赖在windows上没有对应版本,需要下载triton-2.0.0-cp310-cp310-win_amd64.whl到C:\WINDOWS\system32使用,直接使用命令python.exe -m pip install triton-2.0.0-cp310-cp310-win_amd64.whl
下载地址在这里,https://huggingface.co/r4ziel/xformers_pre_built/resolve/main/triton-2.0.0-cp310-cp310-win_amd64.whl
命令执行完使用pip install cmake安装这个依赖,然后就可以完美执行这个requirements.txt文件了,pip install -r requirements.txt

第三个点

全程启用梯子的Tun模式,保障下载不会出错。

第四步:安装和配置 Jupyter Lab

image.png
这里没有什么大问题,主要确认一下jupyter_lab_config.py放在哪里,一般在C:\Users\xxxx.jupyter。
还有一个点,nohup启用是在Ubuntu环境下的,在使用powershell的管理员模式下使用就可以使用了(前面全程也是在Anaconda powershell Prompt 管理员模式
Start-Process -NoNewWindow -FilePath “jupyter” -ArgumentList “lab --port=8000 --NotebookApp.token=‘1234.com’ --notebook-dir=./”

  • 13
    点赞
  • 19
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
大模型预训练微调是深度学习中两个关键的概念,尤其是在自然语言处理(NLP)领域。它们在机器学习模型的发展过程中扮演了重要角色。 1. **预训练(Pre-training)**: 预训练是指在一个大型未标记的数据集上对模型进行初始训练的过程,通常使用自监督或无监督学习方法。例如,BERT、GPT这类模型通过阅读大量的文本数据,学习语言的统计规律,从而建立基础的语言理解能力。这一步不针对特定任务,而是为模型提供泛化的背景知识。 2. **微调(Fine-tuning)**: 微调是在预训练模型的基础上,对模型的部分或全部参数进行调整,以适应特定的应用场景或任务。比如,对于预训练的BERT,当你想要让它识别情感分析、命名实体识别等任务时,会在预先加载好的模型基础上,用少量的标注数据进行调整,以便模型能更好地理解和生成与任务相关的输出。 3. **部署(Deployment)**: 部署是指将训练好的模型应用到实际环境中,如在线服务、移动应用或嵌入式设备。部署通常包括模型压缩(减小模型大小以适应资源有限的环境)、量化(将模型参数转换为更紧凑的数值表示)和推理优化(提高模型在实际运行中的速度)。此外,还需要考虑安全性、可解释性和实时性能等因素。 相关问题: 1. 预训练模型的优点是什么? 2. 如何选择合适的微调策略? 3. 在模型部署时,如何平衡模型性能和计算资源?

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值