大语言模型部署笔记1（ChatGLM2-6B, Vicuna, RWKV, MinigGPT4）

大语言模型部署前期准备工作

1. Windows的python安装（python详细安装教程 - 知乎 (zhihu.com)）
2. Anaconda安装（Anaconda详细安装及使用教程（带图文） - 知乎 (zhihu.com)）
3. 创建虚拟环境：conda create -n 环境名 python=3.8/9/10/11(版本号)
4. 激活虚拟环境：conda activate 环境名（查看创建好的虚拟环境列表：conda info --envs）
5. CUDA Toolkit安装（最好和自己安装的cuda版本对应（python import torch->torch.__version__），且版本小于等于rnvidia-smi的CUDA version）：（(3条消息) CUDA Toolkit安装教程（Windows）_Xavier Jiezou的博客-CSDN博客）
6. 5和6的顺序可以替换，pytorch安装：（以2.0版本为例：pip install torch==2.0.0+cu117 torchvision==0.15.1+cu117 torchaudio==2.0.1 -f https://download.pytorch.org/whl/torch_stable.html）（torch，torchvision， torchaudio版本号需要对应(3条消息) PyTorch中torch、torchvision、torchaudio版本对应关系_Liekkas Kono的博客-CSDN博客）
7. 测试torch是否安装成功：python->import torch->torch.cuda.is_available()，输出为True

到此，前期工作就准备好啦!