ModaHub魔搭社区：ChatGLM-RLHF：无需微调 教程

于 2023-07-08 10:00:00 发布
阅读量834 收藏 3
点赞数
分类专栏： 《实战AI大模型》 魔搭GPT 文章标签： AI模型 魔搭社区 ModaHub ChatGLM
LCHub
本文链接：https://blog.csdn.net/qinglingye/article/details/131493385
版权
该教程介绍了如何仅使用RLHF（Reinforcement Learning from Human Feedback）对ChatGLM模型进行参数调整，无需传统的finetune过程。RLHF的Critic使用ChatGLM的简化版，奖励模型通过比较目标输出的相似度。主要内容包括RLHF数据格式的定义和使用，ChatGLM的微调，以及如何设置主人和机器人昵称。训练大约5个epoch后，模型的泛化能力得以保持。
摘要由CSDN通过智能技术生成

目录

使用方法

效果展示

对ChatGLM直接使用RLHF进行调整参数，无需传统的finetune|Modify ChatGLM params with only RLHF。


大部分的RLHF代码都是在分布式框架，不适合学习和使用，本代码的RLHF代码不需要Megatron或者deepspeed框架， 只需要传统的炼丹torch和显卡就好了，RLHF的Critic用的ChatGLM的缩小版本，而Reward咱们直接使用一个和目标输出比较的相似度模型即可。 这样只需要学习核心的PPO算法即可，其他的都是已经了解的模型和结构。非常有利于NLPer进军RLHF。
功能：


●RLHF数据格式的定义和使用√
●只用RLHF就对ChatGLM进行了微调√
●让ChatGLM认主√
○可以自定义
■主人的姓名
■Robot的昵称
●实现更精细化的情人设定×
●结合自己资料的检索和生成×


使用方法


安装环境仿照，ChatGLM-6B官方那个即可
1、修改自己想要的主人名字和昵称，执行

python data/generate_data.py

2、基于自己的

了解本专栏 订阅专栏 解锁全文 超级会员免费看
ModaHub魔搭社区
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论
专栏目录
订阅专栏
大语言模型 RLHF(一)——ChatGLM代码逐行解读
qjzcy的博客
06-07 5623
为方便学习，对ChatGlm的代码做了逐行解读，这里主要是main方法，里面核心的部分如数据的解析，模型推理训练的框架流程。后续会针对ChatGLM核心优化代码做个解读，
探索ChatGLM-RLHF-LoRA-RM-PPO：新一代对话模型的革命
最新发布
gitblog_00070的博客
04-21 260
探索ChatGLM-RLHF-LoRA-RM-PPO：新一代对话模型的革命 项目地址:https://gitcode.com/Pillars-Creation/ChatGLM-RLHF-LoRA-RM-PPO 在人工智能领域，对话系统的进步一直是关注的焦点。今天我们要介绍的项目——ChatGLM-RLHF-LoRA-RM-PPO，正是一个集多项先进技术于一身的对话生成模型，它旨在提供更加自然、人性...
使用医患对话数据训练新冠诊疗模型的例子 ChatGLM Sft RLHF
人工智能曾小健
07-01 1479
本案例目的仅在于介绍利用项目框架进行 SFT+RLHF 的模型微调流程，微调结果不用于任何商业目的，且不保证模型的可靠性。
详解带RLHF的类ChatGPT：从TRL、ChatLLaMA到ColossalChat、DSC
结构之法 算法之道
04-06 2万+
如果未提供模板，则使用默认模板artifacts/generate_rewards.py，注：所有模板都必须保存在一个名为 .json 的 JSON 文件中templates.json。其中列表包含多个dictionaries，每个dictionary 对应一个数据样本，建议使用超过 1000 个数据样本来进行对actor的训练。在获得最终模型权重后，还可通过量化降低推理硬件成本，并启动在线推理服务，仅需单张约 4GB 显存的 GPU 即可完成 70 亿参数模型推理服务部署。
ChatGLM-6B 的部署与微调以及过程中涉及知识总结(7.26更新)
fireshark
06-13 4965
最近因为工作关系，接触到ChatGLM-6B，自己部署做了一些测试。参考了网上很多优秀的资料，在此基础上，补充一些自己实践中发现的细节。部署内容部分绝大部分来自：https://zhuanlan.zhihu.com/p/627168140微调部分借鉴：https://zhuanlan.zhihu.com/p/625468667细节问题参考：https://zhuanlan.zhihu.com/p/624918286！
抱抱脸：ChatGPT背后的算法-RLHF - 附12篇RLHF必刷论文
10-11
于 这 个 思 想 ， 便 引 出 了 本 文 要 讨 论 的 对 象 ——RLHF （ Reinforcement Learning from Human Feedback）：即，使用强化学习的方法，利用人类反馈信号直接优化语言模型。 RLHF也是最近大火的ChatGPT背后...
MOSS-RLHF.zip
02-06
在IT领域，尤其是在人工智能（AI）的子领域强化学习（Reinforcement Learning, RL）中，"MOSS-RLHF"可能是指一个特定的研究项目或框架。然而，由于提供的信息有限，我将根据标签"python"和文件名来推测可能涉及的...
Alpaca-LoRA-RLHF-PyTorch
11-18
a full pipeline to finetune Alpaca LLM with LoRA and RLHF on consumer hardware。 第一步SFT之前，切记有个注意事项，需要检查下 安装的peft代码， src/peft/utils/save_and_load.py , 如果 line 52 有这行代码 ...
safe-rlhf.zip
02-06
在给定的压缩包"safe-rlhf.zip"中，我们可以推测这可能是一个与安全强化学习（Safe Reinforcement Learning, Safe RL）相关的项目。强化学习是人工智能领域的一个关键分支，它涉及让智能代理通过与环境的交互来学习...
计算机-GPT产业梳理：GPT-1到ChatGPT
05-26
基于人类反馈的强化学习（RLHF），在 GPT-3 基础上进行奖励训练，以 13 亿训练参数实现了更好的模型性能。2022 年 11 月，基于 InstructGPT， OpenAI 正式推出对话交互式模型 ChatGPT，5 天时间突破了 100 万用户。 ...
ChatGPT背后算法—RLHF都有哪些必读论文
AITIME_HY的博客
01-12 4326
点击蓝字关注我们AI TIME欢迎每一位AI爱好者的加入！ChatGPT有多火？用一个通俗易懂的话来表达，ChatGPT就是爱豆中的鹿晗、蔡徐坤、杨超越；脱口秀界的李诞、徐志胜；足球界的梅西、C罗、姆巴佩...前段时间，HuggingFace发表了一篇博客，详细讲解了ChatGPT背后的技术原理—RLHF。RLHF，全称：Reinforcement Learning from Human Feed...
大语言模型-RLHF(二)——LoRA实现&代码逐行讲解
qjzcy的博客
06-14 6246
为方便学习，对ChatGlm的代码做了逐行解读，这里主要是lora方法使用，里面核心的部分如数据的解析，loss的定义，lable制作，lora调用的框架流程等。将输入转化为我们想要的input和lable格式，注意这里输入的特征是已经转化为id的特征，根据我们自己的数据和需要定义，重写 compute_loss 方法，计算模型的损失。（1）将promot和input，target转化为我们想要的input格式。整体代码如下，文件获取可以参考git。1，数据处理，两个功能。3，loss计算定义。
ChatGLM Efficient Tuning效率调试PEFT
人工智能曾小健
06-21 1461
基于的高效微调。| 中文 ]
ChatGLM 微调实战
AI生成式技术曾小健
05-26 2657
通过排序序列前两篇文章主要对 RM 和 RL 两部分进行了讲解和实验，但无数的经验向我们证明 —— 拥有一个好的 SFT 的模型对后两步的训练至关重要。由于在 RL 训练过程中会加入与 SFT 模型的相似度（KL-Divergence）惩罚，这意味着 RL 模型的上限很大程度上取决于 SFT 模型。为此，我们今天来重点讲一讲如何通过 ChatGLM 来微调一个读懂我们指令的模型。
中文ChatGPT平替——ChatGLM：全新对话模型内测，手把手调教开源单卡版本
Chaos的博客
03-15 1万+
ChatGLM是一个具备问答和对话功能的语言模型，目前处于内测阶段，已经开启邀请制，并且将逐步扩大内测范围。此外，ChatGLM也已经开源了最新的中英双语对话模型ChatGLM-6B，结合模型量化技术，用户可以在消费级显卡上进行本地部署。ChatGLM-6B共经过约1T标识符的中英双语训练，辅以监督微调、反馈自助、人类反馈强化学习等技术，模型参数达到了62亿。虽然规模不及千亿模型，但是ChatGLM-6B已经能够生成相当符合人类偏好的回答，大大降低了用户部署的门槛。
【Instruction Tuning】ChatGLM 微调实战（附源码）
人工智能曾小健
06-14 3152
Instruction Tuning 来微调一个监督学习模型排序序列来训练一个打分模型前两篇文章主要对 RM 和 RL 两部分进行了讲解和实验，但无数的经验向我们证明 —— 拥有一个好的 SFT 的模型对后两步的训练至关重要。由于在 RL 训练过程中会加入与 SFT 模型的相似度（KL-Divergence）惩罚，这意味着 RL 模型的上限很大程度上取决于 SFT 模型。为此，我们今天来重点讲一讲如何通过 ChatGLM 来微调一个读懂我们指令的模型。
从零开始的ChatGLM 配置详细教程
风吹落叶的博客
04-22 1万+
最近安装了一下叶佬的一键安装包总感觉，没有被bug虐浑身不舒服遂，去github上重新git clone了官方的下来并部署玩玩。
LLaMA的解读与其微调(含LLaMA 2)：Alpaca-LoRA/Vicuna/BELLE/中文LLaMA/姜子牙
热门推荐
结构之法 算法之道
03-22 7万+
还开始研究一系列开源模型(包括各自对应的模型架构、训练方法、训练数据、本地私有化部署、硬件配置要求、微调等细节)​该项目部分一开始是作为此文《》的第4部分，但但随着研究深入 为避免该文篇幅又过长，将把『第4部分 开源项目』抽取出来 独立成本文。
[论文笔记] chatgpt系列 2.4 DeepSpeed-chat Reward模型训练
心宝的博客
04-28 407
【代码】[论文笔记] chatgpt DeepSpeed-chat 训练。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

ModaHub魔搭社区

共建低代码生态

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值