从0开始搭建清华ChatGLM3 6b大模型(Windows RTX4090版)

目录

1、硬件及软件说明

2、安装Anaconda

3、安装Git版本控制

​4、安装pytorch驱动

5、安装ChatGLM3


1、硬件及软件说明

硬件:主要是GPU卡内存要足够,本次搭建使用的RTX4090卡一张,单卡内存24G,为什么选择4090?主要是4090在推理方面,可以媲美A100,尽管在训练方面一般,但是推理真的是性价比非常高的,管制之后,一张4090的卡行情在1.6W-2.2W元,RTX4090原本是在游戏领域。NVIDIA发布的RTX 40系列移动版显卡,并首次给笔记本带来了RTX 4090级别的型号,是一款性能非常好的显卡。

软件:操作系统windows10,内存32G,64位。

2、安装Anaconda

     我现在假定,你的主机是什么软件都没有安装(但cuda驱动先自己安装上,没有安装的也可以看前面的博文),从一个空白的主机开始搭建,一步一步搭建清华ChatGLM3 6B。所以首先是安装Anaconda,Anaconda是开源的Python发行版本,其包含了conda、Python等180多个科学包及其依赖项,用起来非常方便。

    1)下载Anaconda:Free Download | Anaconda
      我直接下载的是它的最新版本,对应的python版本为3.11

      下载好之后一路next就可以
     安装详细参考文档可以参考这个:Anaconda详细安装及使用教程(带图文) - 知乎
     测试是否安装好conda的命令,进入到dos

为了帮助你高效地对ChatGLM-6B模型进行P-tuning和LoRA微调,特别推荐参考《ChatGLM-6B:从预训练到微调的教程与部署》这份指南。在这个过程中,RTX 3090 GPU因其强大的计算能力,可以支持更复杂的微调策略,如P-tuning和LoRA,而无需担心计算资源的限制。 参考资源链接:[ChatGLM-6B:从预训练到微调的教程与部署](https://wenku.csdn.net/doc/5h9mofy88r?spm=1055.2569.3001.10343) 首先,确保你的系统已经安装了NVIDIA驱动和CUDA环境。接着,根据文档指南,在你的机器上设置合适的Python环境,利用pip安装必要的依赖库,并确保从清华大学镜像服务器下载这些依赖,以保证下载的速度和可靠性。 当开始微调过程时,你需要先加载预训练模型的权重。对于P-tuning,文档会指导你如何仅微调模型的部分参数,从而在保持模型性能的同时减少训练成本。而LoRA技术则让你专注于模型中关键部分的权重调整,通过更精细的控制来达到优化目的。在微调时,混合精度训练(MixedPrecision)和ZeRO技术可以显著提升训练效率,减少内存占用。 在进行LoRA微调时,可能需要对模型结构进行小小的修改,以适应LoRA提供的权重调整机制。这通常涉及到对模型的特定层应用低秩近似。具体操作时,请严格遵循文档中的步骤,这将帮助你避免常见的错误,如维度不匹配或梯度更新问题。 最后,你可能还需要为你的模型部署一个界面,比如使用Gradio来创建一个交互式的Demo。文档会提供相应的指导,帮助你快速搭建起一个展示模型效果的平台。 经过这番折腾,你将能够有效地利用RTX 3090 GPU资源对ChatGLM-6B模型进行P-tuning和LoRA微调,并且能够展示你的成果。如果你希望深入了解更多关于模型预训练、微调和部署的细节,建议继续阅读《ChatGLM-6B:从预训练到微调的教程与部署》这份全面的指南。它不仅提供了清晰的步骤和示例,还涵盖了从理论到实践的全方位信息,帮助你在使用ChatGLM-6B模型的道路上更进一步。 参考资源链接:[ChatGLM-6B:从预训练到微调的教程与部署](https://wenku.csdn.net/doc/5h9mofy88r?spm=1055.2569.3001.10343)
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值