目录
1、硬件及软件说明
硬件:主要是GPU卡内存要足够,本次搭建使用的RTX4090卡一张,单卡内存24G,为什么选择4090?主要是4090在推理方面,可以媲美A100,尽管在训练方面一般,但是推理真的是性价比非常高的,管制之后,一张4090的卡行情在1.6W-2.2W元,RTX4090原本是在游戏领域。NVIDIA发布的RTX 40系列移动版显卡,并首次给笔记本带来了RTX 4090级别的型号,是一款性能非常好的显卡。
软件:操作系统windows10,内存32G,64位。

2、安装Anaconda
我现在假定,你的主机是什么软件都没有安装(但cuda驱动先自己安装上,没有安装的也可以看前面的博文),从一个空白的主机开始搭建,一步一步搭建清华ChatGLM3 6B。所以首先是安装Anaconda,Anaconda是开源的Python发行版本,其包含了conda、Python等180多个科学包及其依赖项,用起来非常方便。
1)下载Anaconda:Free Download | Anaconda
我直接下载的是它的最新版本,对应的python版本为3.11

下载好之后一路next就可以
安装详细参考文档可以参考这个:Anaconda详细安装及使用教程(带图文) - 知乎
测试是否安装好conda的命令,进入到dos

最低0.47元/天 解锁文章
3435

被折叠的 条评论
为什么被折叠?



