源码解析ChatGLM2多轮对话训练方法的不足，以及改进方法

最新推荐文章于 2025-08-24 17:01:42 发布
最新推荐文章于 2025-08-24 17:01:42 发布
阅读量2.3k 收藏 13
点赞数 4
CC 4.0 BY-SA版权
分类专栏： LLM大语言模型 文章标签： 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sinat_37574187/article/details/132087491
文章讨论了Firefly项目如何改进ChatGLM2的多轮对话训练方法，指出原版存在的不足，如数据利用不充分。Firefly通过调整数据组织和loss计算，实现更高效训练，并展示了训练效果和代码实现。

源码解析ChatGLM2多轮对话训练方法的不足，以及改进方法

收录于合集

#Firefly6个

#大语言模型12个

#指令微调10个

YeungNLP

Firefly开源中文大语言模型官方公众号。

23篇原创内容

公众号

01

前言

🎉Firefly项目支持微调ChatGLM2模型啦，我们实现了一种比ChatGLM2官方更加充分高效的多轮对话训练方法，并且沿袭了官方的数据组织格式。

在此之前，很多同学询问Firefly项目是否支持微调ChatGLM或ChatGLM2模型，而我们迟迟未进行适配的原因主要如下：

  1. 此前，Firefly虽然已支持微调Llma2、Llama、Baichuan、InternLM、Ziya、Bloom等开源

了解本专栏 订阅专栏 解锁全文 超级会员免费看
ChatGLM2本地部署的实战方案
herosunly的博客
06-27 11万+
本文主要介绍了ChatGLM2本地部署应用的实战方案，希望对学习大语言模型的同学们有所帮助。 文章目录 1. 介绍 2. 配置环境 2.1 安装虚拟环境 2.2 安装依赖库 3. 下载权重文件 4. 运行ChatGLM2 4.1 方式一 4.2 方式二
AI：清华ChatGLM-6B中文对话模型部署
木头
04-13 3501
ChatGLM-6B是一个开源的62亿参数中英双语对话模型，基于GLM架构优化，支持在消费级显卡上本地部署（最低6GB显存）。本文详细介绍了在Windows系统下的安装部署流程，包括Python环境配置、TDM-GCC安装、CUDA版本匹配等关键步骤。针对显存有限的情况，重点讲解了4-bit量化模型加载方法，并提供了网页版、命令行和API三种交互方式的具体实现方案。通过本地化模型加载和量化技术，有效降低了硬件门槛，使更多开发者能够在个人设备上体验这一先进的对话模型。
ChatGLM2-6B高效推理技术解析
最新发布
gitblog_00998的博客
08-24 598
ChatGLM2-6B高效推理技术解析 ChatGLM2-6B通过多项前沿技术创新实现了显著的推理效率提升和显存占用优化。文章深入解析了Multi-Query Attention技术原理与应用，该技术通过共享键值对重新设计传统多头注意力机制，大幅降低计算和存储开销；详细介绍了FlashAttention实现的长上下文支持机制，将模型上下文长度从2K扩展到32K；系统分析了推理速度与显存占用优化策略...
让chatglm自己检测自己聊天记录对当前语句的影响来压缩历史输入信息
东方佑
05-22 267
程序加载了模型，可以根据不同的参数进行对话，例如不同角色、不同历史记录、输入的top值、tmp值、max_len等等。界面分为左右两个部分，左侧是设置参数和选择角色的区域，右侧是聊天记录和聊天输入框的区域。还可以选择当前的角色和是否使用历史记录。用户可以通过输入框输入聊天内容，程序会根据设置好的参数和聊天历史记录调用ChatGPT模型进行回复，并将回复显示在界面上。主要包括窗口和各种界面组件的设置，以及模型的加载和调用。用户可以选择不同的参数对模型进行设置和调用，还可以添加历史记录和角色切换等功能。
ChatGLM多轮对话微调-多轮对话训练数据的自动生成（标注）
06-02 7107
通常使用大模型进行业务数据微调的时候，需要对历史对话数据进行细粒度的整理，比如：1-3轮对话数据的微调，以便模型能够学会多轮对话。这个时候需要对输入的数据进行数据增强，数据的方法很多，但个人认为对于样本比较少的对话，最有效的方式应该是人工进行标注，即人工写出输入数据prompt的各种可能的语义相似的样本来(根据对数据增强方式的理解，如：释义、采样和加噪)，有人说数据增强的方式怎么做也无法与人工标注的效果相比，只适合于写论文，这里不做评价和扩展。仅针对多轮对话进行1-3轮的对话数据自动标注说明。
ChatGLM2 源码解析：`GLMTransformer`
龙哥盟
09-05 585
【代码】ChatGLM2 源码解析：`GLMTransformer`
LLMs之ChatGLM-3：finetune.py源码解读微调模型—参数解析与初始化配置(清空CUDA缓存+解析JSON文件中的参数+设置训练日志格式和级别+设置随机种子)→加载预训练模型和分词器(
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
12-14 795
​ LLMs之ChatGLM3：finetune.py文件解读—基于数据集(多轮对话格式/输入-输出格式)来微调ChatGLM3-6B模型来适应特定的任务(如对话系统)—参数解析和配置→加载预训练模型和分词器(P-tuning v2技术+模型量化技术)→数据预处理(支持不同格式的训练数据【多轮对话格式/输入-输出格式】)→初始化数据收集器和训练器→模型训练(基于PyTorch分布式框架+梯度累积+梯度检查点技术等，显存21G/对比推理需要13G) 目录 finetune.py文件解读—基于数据集(多轮对
chatglm2-6b-32k 模型源码代码
03-10
同时，模型的训练方法，比如预训练和指令微调，以及多阶段训练过程。 如果用户想获取源码，可能需要引导他们到官方仓库，比如GitHub上的ChatGLM-6B项目，并说明32K版本是否有公开代码。若没有，可以建议参考相关...
LLMs之Tool之ChatGLM-3-6B：模型微调实战(单论对话对微调+多轮对话微调【可包括工具调用能力】)——基于输入输出(prompt-response)格式AdvertiseGen、多轮对话
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
04-05 1309
​ LLMs之ChatGLM3-6B：基于输入输出(prompt-response)格式AdvertiseGen、多轮对话格式数据集(AdvertiseGen/ToolAlpaca,模板四要素system-user-assistant-observation)→微调模型(利用全量微调/P-Tuning v2/LORA【暂未实现】微调+支持多卡/可继续微调)+仅微调模型对话额能力{system-user-assistant}/同时微调对话能力和工具调用能力{tools-system-user-assistan
深入了解ChatGLM3-main源码及软件插件特性
**知识点一：ChatGLM3源码解析** 由于没有具体的源码内容，我们只能推测ChatGLM3可能是一个专注于聊天交互的软件或插件。ChatGLM可能代表“Chat General Language Model”，意味着该软件使用某种语言模型来进行自然...
ChatGLM2 源码解析：`MLP`
龙哥盟
09-04 455
【代码】ChatGLM2 源码解析：`MLP`
chatglm3多轮对话训练数据
04-06
chatglm3多轮对话训练数据，包含原始数据、处理代码、train.json、dev.json和test.json 训练存放位置为：finetune_demo/data/JDMulConversations/train.json，同时需要修改lora配置： data_config: train_file: train.json val_file: dev.json test_file: test.json num_proc: 16 使用训练命令：CUDA_VISIBLE_DEVICES=1 python finetune_hf.py data/JDMulConversations/ /root/autodl-tmp/model/chatglm3-6b configs/lora.yaml
大模型结构介绍，chatglm2模型的创新点
10-30
目录 1.GML核心创新 2.GML网络创新 3.ChatGML2的新改动 4.ChatGML2的微调
解锁大语言模型LLM对话潜力：ChatGLM3-6B的多轮对话实践与深入探索
North_D的博客
02-22 3587
通过对ChatGLM3-6B在多轮对话实践中的深入探索和功能挖掘，我们可以看到它在对话生成任务中的巨大潜力和独特优势。未来随着技术的不断发展和创新，我们期待看到更多基于ChatGLM3-6B的对话系统在各个领域的应用和突破。同时，我们也需要不断关注新的挑战和问题，并积极寻求解决方案和改进策略以推动对话生成技术的进一步发展。相信在不久的将来，我们将能够与更加智能、自然的对话系统进行交互，享受更加便捷、高效的信息获取和交流体验。
ChatGLM2-6B源码解析./ptuning/main.py （一）
强化学习曾小健
07-08 2554
如果training_args.should_log为真，那么设置日志等级为info，否则，根据training_args的内容设置日志等级。根据命令行参数中的do_train、do_eval和do_predict参数的值决定是进行训练、评估还是预测，并对数据集进行相应的预处理。如果提供了pre_seq_len参数，那么对模型进行半精度（half）计算，否则，进行单精度（float）计算。否则，直接从命令行参数解析。否则，加载预训练模型。，用于计算中文的Rouge分数，这是评估摘要和翻译的一个常用指标。
ChatGLM2-6B源码解析./ptuning/main.py （二）
强化学习曾小健
07-09 1303
最后，对目标进行同样的处理，并将处理后的输入和目标加入到模型输入中。它的处理方式与eval的预处理函数类似，但有一些不同之处，例如它还添加了一个eos(end of sentence) token到输入和标签的末尾，并确保输入和标签的长度都符合最大序列长度。: 这是一个条件语句，如果训练参数中的do_train设定为True，那么它会执行训练数据的预处理并打印一个训练数据的示例。: 这也是一个条件语句，如果训练参数中的do_eval设定为True，那么它会执行验证数据的预处理并打印一个验证数据的示例。
ChatGLM2-6B源码解析 web_demo.py
强化学习曾小健
06-26 4578
这个界面包括一个聊天机器人，一个用户输入框，一个提交按钮，一个清空历史按钮，以及一些滑块用于控制模型的参数。总的来说，这是一个使用预训练的模型来生成对话的聊天机器人的程序，它有一个简单的用户界面，用户可以通过这个界面和机器人进行交流。函数接受用户的输入和一些模型参数，它首先把用户的输入添加到聊天记录中，然后用模型生成回复，最后返回聊天记录和新的历史记录。实例化的提交按钮，这会触发绑定到按钮上的函数，把用户的输入提交到聊天机器人，并接收聊天机器人的回应。，这些对象用于保存聊天的历史记录和模型的内部状态。
LLMs之ChatGLM-3：ChatGLM3/ChatGLM3-6B的简介(多阶段增强+多模态理解+AgentTuning技术)、安装和使用方法、案例应用(实现多轮对话能力(Chat)、工具调用能力
热门推荐
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
10-27 1万+
​ LLMs之ChatGLM3：ChatGLM3/ChatGLM3-6B的简介(多阶段增强+多模态理解+AgentTuning技术)、安装和使用方法、案例应用(实现多轮对话能力(Chat)、工具调用能力(Function Call)、代码执行能力(Code Interpreter)→进而实现 Agent 复杂任务场景)之详细攻略 目录 相关文章 ChatGLM3的简介 ChatGLM3的安装
chatglm 多轮对话限制显存
WGS.
05-23 1189
chatglm 多轮对话限制显存
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

具身机器人与医疗AI曾小健

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值