一、PC配置
AMD Ryzen 5 3500X 6-Core Processor 3.59 GHz
内存 32.0 GB
Windows 10 企业版
2张N卡:
NVIDIA GeForce RTX 3060 Ti 8G显存
NVIDIA GeForce RTX 3060 12G显存
大容量硬盘:12T
二、使用wsl安装Ubuntu虚机
打开powershell
安装ubuntu 22.04.2 LTS
命令:wsl --install
如果遇到异常报错,先用命令wsl --update更新wsl
在unbuntu上面安装ssh
参考Ubuntu安装ssh服务详细过程[通俗易懂]-腾讯云开发者社区-腾讯云
三、安装Visual Studio Code
Visual Studio Code – 代码编辑器 | Microsoft Azure
四、配置Visual Studio Code连接ubuntu
Visual Studio Code先安装如下插件
配置ssh
按照提示进行配置
例如:我的Ubuntu安装的时候用户名为gpu3060,密码为XXXXX,按提示一步步进行配置
五、安装conda
参考Ubuntu安装conda_没有金刚钻,也木有刷子的博客-CSDN博客
六、部署各种AI推理环境,以ChatGLM2-6B为例
ChatGLM2-6B
项目地址:
https://github.com/THUDM/ChatGLM2-6B
ChatGLM2-6B
是开源中英双语对话模型
ChatGLM-6B
的第二代版本,在保留了初代模型对话流畅、部署门槛较低等众多优秀特性的基础之上,
ChatGLM2-6B
引入了如下
新特性:
更强大的性能
:基于
ChatGLM
初代模型的开发经验,我们全面升级了
ChatGLM2-6B
的基座模型。
ChatGLM2-6B
使用了
GLM
的混合目标函数,经过了