永远好奇，无限进步！

我这里有一台 从算法组借用的GPU服务器，里边是 两张。使用命令查看当前的nvidia-smi。Ubuntu18 服务器 更新升级CUDA版本 pyenv nvidia ubuntu1804 原11.2升级到PyTorch要求12.1 全过程详细记录 apt update。根据你的操作系统内容选择。这里可以看到，需要的`CUDA`为`12.1`但是刚才我们`nvidia-smi`看到的`CUDA是11.2`。所以我们需要`升级CUDA`版本。我们需要在官方找到`12.1`的对应要求。

LLM-04 大模型 15分钟 FineTuning 微调 ChatGLM3-6B（微调实战1） 官方案例 3090 24GB实战 需22GB显存 LoRA微调 P-TuningV2微调。LoRA的核心思想是在保持预训练模型的大部分权重参数不变的情况下，通过添加额外的网络层来进行微调。这些额外的网络层通常包括两个线性层，一个用于将数据从较高维度降到较低维度（称为秩），另一个则是将其从低维度恢复到原始维度。这种方法的关键在于，这些额外的低秩层的参数数量远少于原始模型的参数，从而实现了高效的参数使用。

- SFT 全量微调: 4张显卡平均分配，每张显卡占用 48346MiB 显存。- P-TuningV2 微调: 1张显卡，占用 18426MiB 显存。- LORA 微调: 1张显卡，占用 14082MiB 显存。ChatGLM3是由智谱AI和清华大学KEG实验室联合开发的一款新一代对话预训练模型。这个模型是ChatGLM系列的最新版本，旨在提供更流畅的对话体验和较低的部署门槛。ChatGLM3-6B是该系列中的一个开源模型，它继承了前两代模型的优秀特性，并引入了一些新的功能和改进。

这里提供一个例子，运行可以自动把模型下载下来。这边建议独立环境，避免相互影响。执行之后，观察显卡的情况，大致占用。的显卡，小显卡也可以正常运行）。LLM-03 大模型 15分钟 FineTuning 微调 GPT2 模型 finetuning GPT微调实战 仅需6GB显存 单卡微调 Kaggle数据 10MB数据集微调。观察显卡的情况，大致占用4.6GB的显存（虽然我这里是3090 24GB的显卡，小显卡也可以正常运行）。建议独立环境，避免相互影响。可看LLM-01 和 LLM-02 章节中的 Pyenv

LLM-02 大模型 本地部署运行 ChatGLM3-6B(13GB) 双卡2070Super8GB 环境配置 单机多卡 基于LLM-01章节 继续乘风破浪 为大模型微调做准备。ChatGLM3-6B 是 ChatGLM 系列最新一代的开源模型，在保留了前两代模型对话流畅、部署门槛低等众多优秀特性的基础上，ChatGLM3-6B 引入了如下特性：更强大的基础模型： ChatGLM3-6B 的基础模型 ChatGLM3-6B-Base 采用了更多样的训练数据、更充分的训练步数和更合理的训练策略。在语义、数

目前借到一台算法组的服务器，我们可以查看一下目前显卡的情况nvidia-smi(后续已经对CUDA等进行了升级，可看我的其他文章，有升级的详细过程),由于很多不同的项目队`python`版本的要求不同，同时对版本的要求也不同，所以你需要配置一个独立的环境。这里你可以选择 `Conda`，也可以选择`pyenv`，或者`docker`。我选的方案是：`pyenv`在项目的目录下，我们利用现成的直接启动：`web_demo.py````shell# 先打开看一眼vim web_demo.py```