【Llama-3】从SFT到RLHF训练，易如反掌

最新推荐文章于 2024-06-21 20:24:42 发布
最新推荐文章于 2024-06-21 20:24:42 发布
阅读量163 收藏
点赞数
文章标签： llama
原文链接：https://mp.weixin.qq.com/s?__biz=MzIzMzYwNzY2NQ==&mid=2247489698&idx=1&sn=ea5bddcaf76616ff948e3a87849b8e13&chksm=e98780eeb6f42c497b6f18e4c7d6449ad44fafe30244a178159977b9f263afe6cfa9de6dc5bf&scene=126&sessionid=0
版权

推荐下朋友【知乎/小红书：小冬瓜AIGC】原创的LLM+RLHF视频课程，他在知乎和小红书也分享了很多关于LLM相关的技术文章和笔记，原创不易，感兴趣的朋友可以关注下。

作者是小冬瓜AIGC，原创超长文知识分享

原创课程已帮助多名同学上岸LLM赛道

知乎/小红书 ：小冬瓜AIGC

基于Llama-3-8B预训练模型全参SFT微调

中文问答轻松秒了ruozhiba

cb7de930db7b6c3434d7517cafa80ad4.png

经过DPO/PPO强化学习训练

便可胜任代码生成/中英文安全对话

Llama-3-8B-PPO 代码生成:

5aad68c76f472cdbf5b716be7dbb46bd.png

Llama-3-8B-PPO 中文问答实例:

4925ab9f894d7bc799b8f7561ce727df.png

本效果为课程的实操实际结果可复现，更多课程内容详情如下：

一、课程概况

  • 课程内容：直播 + 往期录播 + 手撕级Notebook + 非调包源码 + 算法图解 + 课程PPT

  • 课程项目：垂域大模型实操 + DeepSpeed多卡SFT、RM、RLHF、DPO训练

  • 进阶专题：手撕LLaMA、手撕RL、手撕RLHF PPO(Notebook)、LLM加速、LLM分布式训练、

  • 入门要求：Pytorch+神经网络或深度学习基础

  • 授课形式：每周2章节直播，5周上完前10章节

  • 价格：私聊单独咨询

  • 实操效果：本课程代码仓库MA-RLHF，实战多卡训练; 已全线支持Llama-3-8B SFT全参微调，LoRA微调DPO、RM、PPO；支持低成本百元 8B DPO训练；支持70B模型SFT/DPO训练

    二、课程目录

f994299ddd1f06ed5765b35ec32c414e.jpeg

详细目录：第9/10章节-RL/RLHF

e8a871561382ea02ec78d7c1a54d3481.png

第11章节-LLM加速（以长文档形式授课）

43caad8cbb69e8c0fcd941db478a735f.png

第12章节-LLM分布式训练（以长文档形式授课）

251db7a9ba7f24fbf71705af66531115.png

三、课程内容详情

3.1 课程直播+录播

  • 已成功开展 7 期【手撕LLM+RLHF】课程，目前9期可约

  • 在线直播授课、随讲随答，即刻解疑瞬间秒懂, 直播课程会进行录制，便于课后随时学习。

7725a34b76eacdc4d2a7240d0f4de965.png

3.2 课件PPT

  • 每章均有完整PPT，图解复杂公式、代码实现细节， 1比1复现原论文

  • 完整构建LLM知识体系， 拒绝知识碎片化

879b955dc7d3672363bcf3157274a41d.png

3.3 源码工程+Notebook

  • pytorch工程，代码精简，全部调试可运行，CPU都能Run的代码

  • 复杂代码Notebook随手debug，不惧手撕代码

  • 非调包级工程、坚持逐行代码剖析算法原理，从代码视角，解密复杂的公式原理。

81666446007e73a96af79746be8a0dd6.png

手撕RLHF PPO代码-Pytorch实现, 不依赖RL库

LLM中的RLHF-PPO算法复杂, 逐行手撕LLM中的PPO算法, 主要通过Pytorch实现。

包含4个模型：Ref/Actor/Critic/Reward、PPO采样及训练流程、Loss计算Actor Loss+Critic Loss+Entropy、reward+KL散度...

4b310bd82e6bd5b009c7951a14e8373c.png

3.4 实操项目

实操项目1 ：垂域LLM微调Notebook

  • 1个月从0搭建LLM，覆盖LLaMA-LoRA-Pretrained-sft-RM-RLHF

c0d29715474a4ecc1215bdbdcb5cd704.png

 实操项目2 ：DeepSpeed + RLHF + DPO + PPO 代码仓库

be7637991ea9b6f72f090fcfc80bf27b.png

DeepSpeed多卡RLHF-PPO训练实操

Llama-3-8B 全流程实操训练效果

基于Llama-3-8B 预训练模型，混合中英alpaca和ruozhiba数据; 全参微调SFT，轻松回复ruozhiba问题

df442d230b49ec6c363dec6804ca2832.png

QLoRA高效微调DPO、Reward Model和PPO

低成本即可 run 出项目效果

课程Llama-3-8B PPO 训练模型效果

6fab9747564a3da6a194bb28c6a0b125.png

682d923df7e25b1bf766191070ac4ea4.png

项目新增70B SFT/DPO 训练方案

adae39101252fb4e91d03e6213f6a6cb.jpeg

LLaMA-2-7B  SFT/DPO/PPO 训练效果

3af16101f186f40768a5557343e1cd96.jpeg

本课程提供的代码仓库，DPO 安全对齐效果

4x3090(24GB) DPO训练成本低至百元

fcb5639fa71f3cca5dedfeeceae4c70d.jpeg

PPO训练效果

4267eab25fab02d9e7c2a126b6f1eea4.jpeg

四、LLM社群 & 教学成果

4.1 内部LLM社群

  • 部分学员就职 Meta、google、微软、亚马逊、高通、阿里、百度等海内外大厂

  • 超50%成员来自海外名校，北美 PhD 居多

  • 部分学员本身从事 LLM 相关岗位，有的本身就在各大厂做 LLM 相关的负责人，手上也有HC，能直接触到一线的机会

c10099669e145884be0a479419b05a81.png

bdac4e214d943d1dc7f75a3ebb9717ee.png

4.2 部分教学成果

1️⃣：社科女PhD凭借RLHF成功拿到国内多家高校副教授教职

2️⃣：北美同学拿下顶尖实验室合作机会

3️⃣：复旦应届生物信息硕士拿下LLM工作

4️⃣：资深NLP工程师成功收获大模型远程工作机会

5️⃣：北美PhD凭借课程学习成功抓住公司内部大模型业务负责人机会

6️⃣：TOP2硕暂已3个LLM核心岗位谈薪中

7️⃣：互联网大厂进入最后hr面

8️⃣：北美本硕收获 3 offer

9️⃣：明星startup入职，医疗业务

9a794f59cfbbd41ef60af34616532914.png

5494a2d9f0638e543ad326a5fd95cefd.png

81a225fef765d3433617356222c7f5db.png


（注：不提供算力，本课程所提供项目可在多卡环境一键运行，能低成本run出大模型项目）

我是小冬瓜AIGC，原创超长文知识分享

原创课程已帮助多名同学上岸LLM赛道

知乎/小红书 ：小冬瓜AIGC

b34bd890c3acde2a72adcde6fcdf8188.png

微信咨询xiaodongguaAIGC

2387f3849c420fa3aaad94002bfd0024.jpeg

机智的叉烧
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
LLMs：ColossalChat相关的开源训练数据集简介(SFT指令微调数据集+奖励模型排序数据集+RLHF数据集)、RLHF算法实现的三个阶段(监督指令微调→训练奖励模型→RLHF训练模型→​​​
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
06-10 1808
​ LLMs：ColossalChat相关的开源训练数据集简介(SFT指令微调数据集+奖励模型排序数据集+RLHF数据集)、RLHF算法实现的三个阶段(监督指令微调→训练奖励模型→RLHF训练模型→推理量化和服务) 目录 ColossalChat的使用方法 1、ColossalChat相关的开源训练数据集 2、RLHF算法实现的三个阶段 3、推理量化和服务 - 训练后 ColossalChat的使用方法 1、ColossalChat相关的开源训练数据集 监督
详解各种LLM系列｜LLaMA 2模型架构、 预训练、SFT、RLHF详解
Kaiyuan_sjtu的博客
04-01 1237
作者|Sunnyyyyy整理|NewBeeNLPhttps://zhuanlan.zhihu.com/p/670002922后台留言『交流』，加入NewBee讨论组Llama 2是Meta在LLaMA基础上升级的一系列从 7B到 70B 参数的大语言模型。Llama2 在各个榜单上精度全面超过 LLaMA1，目前被广泛使用。对于Llama 2模型架构、 预训练、SFT的内容详解，...
如何微调Meta Llama-3 8B
最新发布
m0_59164520的博客
06-21 628
Meta 推出了 Meta Llama 3 系列 LLM，包括 8 和 70B 大小的预训练和指令调整的生成文本模型。这些指令调整模型针对对话进行了优化，在行业基准测试中优于许多开源聊天模型。在开发过程中，我们特别注意优化实用性和安全性。微调是机器学习中使用的一种技术，尤其是大型语言模型 （LLM）。这是一种利用现有模型的知识并针对特定任务进行定制的方法。需要资源情况T4-14.7/16GB。
详解各种LLM系列｜（2）LLaMA 2模型架构、 预训练、SFT、RLHF内容详解（PART-2）
weixin_49659123的博客
12-09 1618
这一篇继续详细深入Llama 2的 RLHF内容，以及其实现的实验结果
大语言模型调优SFT & RLHF
hawk2014bj的博客
05-23 548
RLHF 相比于 SFT 可以根据用户的反馈进行优化，从而提高了模型的效果。虽然，RL 提高了模型的效果，数据还是起到非常重要的作用。想要调优一个效果很好的私有模型，数据准备的工作，无论 SFT 还是 RL 门槛都很高。
Llama3-8B基于peft+trl进行SFT监督微调（命令行模式）
zhujiahui622的专栏
04-29 1451
4月19日Meta终于发布了Llama3，包含8B和70B两种模型，本次我们就来试着用trl命令行微调下8B的模型。
RLHF理解篇
宁少的博客
04-08 1081
左：输入（Image/text）,通过计算预测值和真实标签值之间的损失更新模型右：环境（数据），agent（模型）在环境产生某个动作（预测值），从而获得奖励模型的打分，通过最大化打分更新agent（模型），从而再次回到环境产生新一轮的动作。基本概念还是解释一下一些概念，从NLP的角度举一些例子。首先是RL中的Policy，State，Action。接下来介绍Reward，Return，Q，V。PS：这里要注意区分价值和奖励：价值是未来累计奖励的期望。奖励是我们做出该动作后立即获取的收益。
llama3-中文微调训练集，让llama3更懂中文
04-22
Llama-3使用了超过15万亿令牌的公开在线数据进行预训练，这些数据是前代Llama-2的七倍。此外，Llama-3支持8K长文本，具有128K token的词汇量，这有助于实现更好的性能。其主要亮点还包括增强的推理和代码能力，以及...
聊天机器人:llama-gpt
10-10
通过训练模型，llama-gpt学会了理解和生成复杂的语句结构，能够进行多轮对话，理解上下文，甚至具备一定的推理能力。这种智能对话的能力使得llama-gpt不仅仅是一个简单的问答系统，而是可以进行深度对话的伙伴。 ...
llama-factory llama-factory llama-factory llama-factory llama-fa
06-13
llama-factory llama-factory llama-factory llama-factory llama-factory llama-factory llama-factory llama-factory
Llama2-7B/13B chat模型（下载地址）.txt
08-14
•Llama2-7B官网版本 •Llama2-7B-Chat官网版本 •Llama2-13B官网版本 •Llama2-13B-Chat官网版本 •Llama2-7B Huggingface版本 •Llama2-7B-Chat Huggingface版本
llama3-8b tokenizer.model
06-11
《llama3-8b tokenizer.model：理解和应用》 在深度学习领域，预处理是模型训练过程中的关键步骤，而tokenizer则是预处理阶段的核心工具。本文将深入探讨“llama3-8b tokenizer.model”，一个专门用于处理大模型如...
SFT会改善LLM性能，RLHF可能会损害性能
caoyongsheng的博客
01-11 889
领域自适应：预训练的语言模型通常在大规模通用语料库上进行训练，而SFT可以通过在特定领域的数据上微调模型，使其更好地适应该领域的特定模式、术语和上下文。人类反馈的限制：RLHF依赖于人类提供的反馈信号来指导模型的学习。SFT（Structured Fine-Tuning）是一种模型优化技术，它通过在预训练的语言模型上进行有针对性的微调，以适应特定任务或领域。数据增强：SFT通常会使用特定任务或领域的数据来微调模型，这种数据增强可以丰富模型的训练数据，提供更多的样本和多样性，有助于改善模型的泛化能力和性能。
大语言模型-RLHF(五)-PPO（Proximal Policy Optimization）原理&实现&代码逐行注释-论文导读
qjzcy的博客
08-05 612
从open AI 的论文可以看到，大语言模型的优化，分下面三个步骤，SFT，RM，PPO，我们跟随大神的步伐，来学习一下这三个步骤和代码实现，本章介绍PPO论文。
不再需要SFT+RLHF，一样可以训练好LLM
步子哥的博客
01-07 919
总的来说，URIAL免微调对齐法是一种简单而有效的方法，可以将基础模型转化为具备对话能力和遵循指令能力的AI助手。此外，URIAL方法还可以让基础模型获得多轮对话的能力，通过将之前的对话作为示例的一部分。这项研究的实验结果表明，当基础模型足够强大时，URIAL方法的表现甚至超过了传统的SFT+RLHF方法。通过实验对比基础模型和对齐模型之间的token分布偏移，研究发现，对齐仅影响了一小部分token，主要涉及文风相关的token，如话语标志、过渡词和安全免责声明。解锁基础模型潜力的咒语：URIAL方法。
ChatGPT 中的人类反馈强化学习 (RLHF) 实战
community_301的博客
05-29 150
在当今数字化的时代，ChatGPT 的火热程度不断升级。ChatGPT 可以处理复杂的语言任务，从而解放人力资源，提高工作效率，减少成本。ChatGPT 的先进技术和广泛应用，使得它成为了当今最炙手可热的人工智能技术之一。无论是企业、学术机构，还是科技爱好者，都对 ChatGPT 的应用前景充满期待。在这样的背景之下，CSDN AI 团队也想对 ChatGPT 进行简单的复现。根据ChatGPT官方博客可知，ChatGPT的训练方法与的训练方法基本一致 (如图1所示)，只是使用的数据集不一样。
RLHF介绍及实践测试
u010899985的博客
12-21 1067
RLHF（Reinforcement Learning Hyperparameter Optimization Framework）是一种用于强化学习模型的超参数优化框架。使用generate_prompt_dataset.py对目标数据生成prompt数据（instructions）修改critic.load_state_dict(state_dict, strict=False)可解决；与lora微调的区别是：RLHF多了。：执行监督训练shell脚本。：执行奖励函数训练脚本。：执行LM微调训练脚本。
ChatGPT技术原理解析：从RL之PPO算法、RLHF到GPT4、instructGPT
热门推荐
结构之法 算法之道
01-15 18万+
本篇ChatGPT笔记会全力做到，通俗易懂且循序渐进(尽最大努力让每一个初学者哪怕是文科生都能没有障碍的读懂每一字一句、每一个概念、每一个公式) 一方面，对于想了解ChatGPT背后原理和如何发展而来的，逐一阐述从GPT/GPT2/GPT3到强化学习、PPO算法，最后再到instructGPT、ChatGPT、SeqGAN 且本文之前，99%的文章都不会把PPO算法从头推到尾，本文会把PPO从零推到尾，按照“RL-策略梯度-重要性采样(重要性权重)-TRPO(增加信任区域和KL散度约束)-PPO”的顺序逐步
Llama3-8B基于peft+trl进行SFT监督微调（Python代码模式）
zhujiahui622的专栏
04-30 2139
4月19日Meta终于发布了Llama3，包含8B和70B两种模型，本次我们就来试着微调下8B的模型。
llama-2-13b-chat 下载
09-09
llama-2-13b-chat是一个软件应用程序，可以通过下载安装在手机或电脑上使用。它是一个以聊天为核心的应用，用户可以通过它与朋友、家人或同事进行文字、语音或视频的实时交流。 通过下载llama-2-13b-chat，用户可以享受到以下几个方面的好处。首先，它提供了一种方便快捷的交流方式，无论是发送简单的文字信息，还是进行面对面的视频通话，都能轻松实现。这对于需要频繁交流的工作团队或远距离的亲友来说特别有用。 其次，llama-2-13b-chat提供了一系列的聊天工具和功能，使用户能够更丰富多样地表达自己。例如，它支持发送表情、贴图、图片和语音消息等，这样用户可以更生动地传达自己的情感和意图。 此外，llama-2-13b-chat还具备一定的安全性和隐私保护机制。它采用了先进的加密技术，确保用户的聊天内容不会被未授权的人获取。同时，用户可以根据自己的需求设置隐私选项，例如控制谁可以添加他们为好友、接收消息的通知等。 最后，下载llama-2-13b-chat还能享受到它的更新和改进带来的新功能和体验。开发商会不断改进和优化该应用，修复漏洞，增加新功能，以提供更好的使用体验。 总之，llama-2-13b-chat是一款功能丰富且方便实用的聊天应用，通过下载安装它，用户可以享受到便捷的交流方式，丰富的表达方式，以及安全保护和不断更新的好处。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值