ChatGLM2-6B微调实记

最新推荐文章于 2024-03-22 10:27:24 发布
最新推荐文章于 2024-03-22 10:27:24 发布
阅读量623 收藏 2
点赞数 1
分类专栏： 自然语言处理 文章标签： 自然语言处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43680622/article/details/131956206
版权

ChatGLM2-6B微调实记

1. 准备工作

（1）用PyCharm打开LLM-Tuning-master文件夹。在这里插入图片描述

在这里插入图片描述

（2）设置成自己的环境：nlp

在这里插入图片描述

（3）将LLM-Tuning-master文件夹在终端打开在这里插入图片描述

在这里插入图片描述

（4）激活自己的环境：nlp在这里插入图片描述

2. 准备数据集

（1）将原本符合格式的数据写入到chatglm2_12000_200.json文件中在这里插入图片描述

（2）修改tokenize.sh文件在这里插入图片描述

（3）对数据进行分词在这里插入图片描述在这里插入图片描述

3. 训练

（1）修改train.sh文件在这里插入图片描述

（2）在终端运行train.sh文件在这里插入图片描述

在这里插入图片描述

4. 完成在这里插入图片描述

在这里插入图片描述

小牛笔记
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
【ChatGLM2-6B】P-Tuning训练微调
太空眼睛的专栏
11-02 257
本仓库实现了对于 ChatGLM2-6B 模型基于 P-Tuning v2 的微调。P-Tuning v2 将需要微调的参数量减少到原来的 0.1%，再通过模型量化、Gradient Checkpoint 等方法，最低只需要 7GB 显存即可运行。
ChatGLM2-6b 避坑指南
ChirpTB的博客
06-30 2824
ChatGLM在[2023/06/25]发布新一代GLM模型 ChatGLM2-6b，经过实测，语言能力较上代强了不少，生成速度也快许多。在 Nvidia GeForce 4060 laptop 8G+i913900HX 配置下进行INT8量化下推理的ChatGLM2-6b，展现出让我震惊不已的能力：​经过了艰难的探索，把该跳的一些坑都跳了个遍）于是做这期避坑指南，方便大家尽快用上新一代语言模型，在此也将最好的祝福给到chatGLM，希望国产AI越走越远！
ChatGLM2-6B微调
小张的技术分享博客
03-22 363
最近对大模型很感兴趣，所以尝试了一下微调，记录一下。
ChatGLM2-6B Lora 微调训练医疗问答任务
小毕超博客
09-16 1717
LoRA 微调在原始 PLM 增加一个旁路，一般是在 transformer 层，做一个降维再升维的操作，模型的输入输出维度不变，来模拟 intrinsic rank。该方式可以大大降低训练的参数量，而性能可以优于其它参数高效微调方法，甚至和全参数微调（Fine-Tuning）持平甚至超过。
ChatGLM-6B (介绍以及本地部署)
qq128252的博客
03-17 2万+
ChatGLM-6B 是一个开源的、支持中英双语问答的对话语言模型，基于架构，具有 62 亿参数。结合模型量化技术，用户可以在消费级的显卡上进行本地部署（INT4 量化级别下最低只需 6GB 显存）。ChatGLM-6B 使用了和ChatGLM相同的技术，针对中文问答和对话进行了优化。经过约 1T 标识符的中英双语训练，辅以监督微调、反馈自助、人类反馈强化学习等技术的加持，62 亿参数的 ChatGLM-6B 已经能生成相当符合人类偏好的回答。
ChatGLM2-6B，部署及微调
rexxa的博客
07-07 3591
ChatGLM2-6B，部署、微调记录
ChatGLM2-6B的P-Tuning微调
weixin_43815222的博客
07-05 3977
注：ChatGLM2-6B官网给的环境P-Tuning微调报错。可复用ChatGLM-6B（上述部署教程），即。
清华大学开源ChatGLM2-6B开源模型在anaconda下的虚拟环境详细部署及安装教程
SupermarketX的博客
07-05 9873
ChatGLM2-6B在anaconda中虚拟环境下的本地部署
ChatGLM2-6B模型推理流程和模型架构详解
jpw41的博客
10-28 9319
ChatGLM2-6B模型结构拆解和推理流程，含具体的矩阵维度拆解。
ChatGLM2-6B（windows本地微调实践）
09-15
详细调试内容见文件内ReadMe文档 1、Chat GLM2模型下载 ...7、ChatGLM2-6B-main加载微调后模型验证 注：环境自己搭建，我的用anadconda创建的，先搭pytorch的GPU版，再添加相关模块，本地部署教程多自行部署
chatglm3-6b 可跑通的数据
最新发布
04-01
chatglm3-6b 可跑通的数据，win 本地部署ChatGLM3-6B微调及推理过程， 部署到gradio_demo,使用webui来调试和调用
清华大模型Chatglm2-6B的微调方法和微调模型使用方式（非常仔细，值得借鉴）
01-22
清华大模型Chatglm2-6B的微调方法和微调模型使用方式（非常仔细，值得借鉴）
基于ChatGLM-6B、ChatGLM2-6B、ChatGLM3-6B模型，进行下游具体任务微调，全参微调
02-07
基于ChatGLM-6B、ChatGLM2-6B、ChatGLM3-6B模型，进行下游具体任务微调，涉及Freeze、Lora、P-tuning、全参微调等.zip
基于ChatGLM-6B、ChatGLM2-6B、ChatGLM3-6B模型，进行下游具体任务微调，涉及Freeze、Lora、
02-06
基于ChatGLM-6B、ChatGLM2-6B、ChatGLM3-6B模型，进行下游具体任务微调，涉及Freeze、Lora、P-tuning、全参微调等
带你学习部署最新版清华第二版chatglm：ChatGLM2-6B+使用 CPU 本地安装部署运行 ChatGLM2-6B
古月哲亭
06-28 7975
3 chaglm2-6b本地部署ChatGLM2-6B 是开源中英双语对话模型 ChatGLM-6B 的第二代版本，在保留了初代模型对话流畅、部署门槛较低等众多优秀特性的基础之上，ChatGLM2-6B 引入了如下新特性：更强大的性能：基于 ChatGLM 初代模型的开发经验，我们全面升级了 ChatGLM2-6B 的基座模型。
ChatGLM2-6B 训练参数解释
人工智能曾小健
06-28 3498
在深度学习中，我们通常不会同时处理所有的训练样本，而是将它们分成“批次”进行处理。在这个例子中，每个设备上的即时批量大小为4，意味着每个设备一次处理4个样本。这可能意味着在多个设备上同时进行训练，每个设备处理一部分批次，然后把这些批次加起来，总和为16。: 这是模型中可以通过训练改变的参数的数量。: 一个epoch指的是模型在训练过程中遍历整个训练集一次。: 这表示在你的训练集中有243个样本，即243个独立的数据点用于训练模型。: 梯度累积是一种在内存不足的情况下训练大模型的技巧。
ChatGLM两代的部署/微调/实现：从基座GLM、ChatGLM的LoRA/P-Tuning微调、6B源码解读到ChatGLM2的微调与实现
热门推荐
结构之法 算法之道
03-31 5万+
随着『GPT4多模态/Microsoft 365 Copilot/Github Copilot X/ChatGPT插件』的推出，绝大部分公司的技术 产品 服务，以及绝大部分人的工作都将被革新一遍类似iPhone的诞生 大家面向iOS编程 有了App Store现在有了ChatGPT插件/GPT应用商店，以后很多公司 很多人面向GPT编程(很快技术人员分两种，一种懂GPT，一种不懂GPT)然ChatGPT/GPT4基本不可能开源了，而通过上文《
ChatGLM2-6B微调实践-P-Tuning方案
weixin_44455388的博客
10-08 1548
准备我们自己的数据集，分别生成训练文件和测试文件这两个文件，放在目录 ChatGLM2-6B/ptuning/myDataset/ 下面。执行web_demo.sh，访问http://xxx.xxx.xxx.xxx:7860。加载模型，需要从网上下载模型的7个分片文件，总共大约10几个G大小，可提前下载。如提示找不到conda命令，需配置Anaconda环境变量。训练集文件： train_file.json。测试集文件： val_file.json。根据提示一路安装即可。
Chatglm2使用及微调教程
benben044的专栏
07-20 3730
chatglm2是清华大学的，比较好的LLM大语言模型。本教程主要是提供使用及微调的方法，适合linux上开发。
chatglm2-6b微调详细步骤
02-12
chatglm2-6b是一个经过微调的语言模型，用于生成对话式文本。下面是chatglm2-6b微调的详细步骤： 1. 数据收集：首先，收集用于微调的对话数据集。这个数据集应该包含对话的文本，包括用户的输入和模型的回复。 2. 数据预处理：对收集到的对话数据进行预处理。这包括去除无效的对话、清洗数据、分割对话为输入和输出等。 3. 模型准备：下载chatglm2-6b预训练模型，并加载到训练环境中。 4. 数据格式转换：将预处理后的对话数据转换为适合模型输入的格式。通常，这涉及将对话转换为模型可以理解的token序列。 5. 微调设置：设置微调的超参数，如学习率、批大小、训练轮数等。 6. 模型微调：使用预处理后的对话数据对chatglm2-6b模型进行微调。在微调过程中，模型会根据输入的对话生成回复，并通过与真实回复进行比较来更新模型参数。 7. 模型评估：使用一部分保留数据集对微调后的模型进行评估。评估指标可以包括生成回复的准确性、流畅性等。 8. 反复迭代：根据评估结果，调整微调的设置和数据处理方法，并重复步骤4到步骤7，直到达到满意的效果。 9. 模型保存：保存微调后的chatglm2-6b模型，以备后续使用。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值