![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大模型ChatGLM3微调
文章平均质量分 83
大模型ChatGLM3微调
武子康
永远清澈,永远热情,永远好奇,无限进步!请记住,计算机所有内容都是人研究创造的,所以不存在任何的"黑魔法",别人会的只是你暂时不会,总有一天,你会都研究明白的。我知道这个过程会很难很难,可是只要你想做一些事情,又有哪一件不难呢?所以请你不要放弃!!!
展开
-
Ubuntu18 服务器 更新升级CUDA版本 pyenv nvidia ubuntu1804 原11.2升级到PyTorch要求12.1 全过程详细记录 apt update
我这里有一台 从算法组借用的GPU服务器,里边是 两张。使用命令查看当前的nvidia-smi。Ubuntu18 服务器 更新升级CUDA版本 pyenv nvidia ubuntu1804 原11.2升级到PyTorch要求12.1 全过程详细记录 apt update。根据你的操作系统内容选择。这里可以看到,需要的`CUDA`为`12.1`但是刚才我们`nvidia-smi`看到的`CUDA是11.2`。所以我们需要`升级CUDA`版本。我们需要在官方找到`12.1`的对应要求。原创 2024-04-22 10:29:35 · 1081 阅读 · 0 评论 -
LLM-05 大模型 15分钟 FineTuning 微调 ChatGLM3-6B(微调实战1) 官方案例 3090 24GB实战 需22GB显存 LoRA微调 P-TuningV2微调
LLM-04 大模型 15分钟 FineTuning 微调 ChatGLM3-6B(微调实战1) 官方案例 3090 24GB实战 需22GB显存 LoRA微调 P-TuningV2微调。LoRA的核心思想是在保持预训练模型的大部分权重参数不变的情况下,通过添加额外的网络层来进行微调。这些额外的网络层通常包括两个线性层,一个用于将数据从较高维度降到较低维度(称为秩),另一个则是将其从低维度恢复到原始维度。这种方法的关键在于,这些额外的低秩层的参数数量远少于原始模型的参数,从而实现了高效的参数使用。原创 2024-04-19 13:05:39 · 1042 阅读 · 0 评论 -
LLM-04 大模型 15分钟 FineTuning 微调 ChatGLM3-6B(准备环境) 3090 24GB实战 需22GB显存 LoRA微调 P-TuningV2微调
- SFT 全量微调: 4张显卡平均分配,每张显卡占用 48346MiB 显存。- P-TuningV2 微调: 1张显卡,占用 18426MiB 显存。- LORA 微调: 1张显卡,占用 14082MiB 显存。ChatGLM3是由智谱AI和清华大学KEG实验室联合开发的一款新一代对话预训练模型。这个模型是ChatGLM系列的最新版本,旨在提供更流畅的对话体验和较低的部署门槛。ChatGLM3-6B是该系列中的一个开源模型,它继承了前两代模型的优秀特性,并引入了一些新的功能和改进。原创 2024-04-19 11:15:57 · 1937 阅读 · 0 评论 -
LLM-03 大模型 15分钟 FineTuning 微调 GPT2 模型 finetuning GPT微调实战 仅需6GB显存 单卡微调 数据 10MB数据集微调
这里提供一个例子,运行可以自动把模型下载下来。这边建议独立环境,避免相互影响。执行之后,观察显卡的情况,大致占用。的显卡,小显卡也可以正常运行)。LLM-03 大模型 15分钟 FineTuning 微调 GPT2 模型 finetuning GPT微调实战 仅需6GB显存 单卡微调 Kaggle数据 10MB数据集微调。观察显卡的情况,大致占用4.6GB的显存(虽然我这里是3090 24GB的显卡,小显卡也可以正常运行)。建议独立环境,避免相互影响。可看LLM-01 和 LLM-02 章节中的 Pyenv原创 2024-04-18 11:03:26 · 1217 阅读 · 0 评论 -
LLM-02 大模型 本地部署运行 ChatGLM3-6B(13GB) 双卡2070Super8GB 环境配置 单机多卡 基于LLM-01章节 继续乘风破浪 为大模型微调做准备
LLM-02 大模型 本地部署运行 ChatGLM3-6B(13GB) 双卡2070Super8GB 环境配置 单机多卡 基于LLM-01章节 继续乘风破浪 为大模型微调做准备。ChatGLM3-6B 是 ChatGLM 系列最新一代的开源模型,在保留了前两代模型对话流畅、部署门槛低等众多优秀特性的基础上,ChatGLM3-6B 引入了如下特性:更强大的基础模型: ChatGLM3-6B 的基础模型 ChatGLM3-6B-Base 采用了更多样的训练数据、更充分的训练步数和更合理的训练策略。在语义、数原创 2024-04-18 10:36:23 · 701 阅读 · 0 评论 -
LLM-01 大模型 本地部署运行 ChatGLM2-6B-INT4(6GB) 简单上手 环境配置 单机单卡多卡 2070Super8GBx2 打怪升级!
目前借到一台算法组的服务器,我们可以查看一下目前显卡的情况nvidia-smi(后续已经对CUDA等进行了升级,可看我的其他文章,有升级的详细过程),由于很多不同的项目队`python`版本的要求不同,同时对版本的要求也不同,所以你需要配置一个独立的环境。这里你可以选择 `Conda`,也可以选择`pyenv`,或者`docker`。我选的方案是:`pyenv`在项目的目录下,我们利用现成的直接启动:`web_demo.py````shell# 先打开看一眼vim web_demo.py```原创 2024-04-17 10:11:55 · 577 阅读 · 0 评论