【手撕LLM+RLHF】谁懂70B RLHF的含金量啊？

推荐下朋友【知乎/小红书：小冬瓜AIGC】原创的LLM+RLHF视频课程，他在知乎和小红书也分享了很多关于LLM相关的技术文章和笔记，原创不易，感兴趣的朋友可以关注下。

我是小冬瓜AIGC，原创超长文知识分享

原创课程已帮助多名同学上岸LLM赛道

知乎/小红书📕 ：小冬瓜AIGC

如何能快速提升LLM模型性能，一个无脑的做法是Scaling更大的模型

但70B的调试难度、训练成本和工程难度大大提升

撸完70B的SFT/DPO后，其实并没有那么难

70B DPO训练过程中8卡每张卡占用28G，轻松做完70B RLHF

本效果为课程的实操实际结果可复现，更多课程内容详情如下：

一、课程概况

• 课程内容：直播 + 往期录播 + 手撕级Notebook + 非调包源码 + 算法图解 + 课程PPT

• 课程项目：垂域大模型实操 + DeepSpeed多卡SFT、RM、RLHF、DPO训练

• 进阶专题：手撕LLaMA、手撕RL、手撕RLHF PPO(Notebook)、LLM加速、LLM分布式训练、

• 入门要求：Pytorch+神经网络或深度学习基础

• 授课形式：每周2章节直播，5周上完前10章节

• 价格：私聊单独咨询

• 实操效果：本课程代码仓库MA-RLHF，多卡训练DPO+PPO，4x3090 DPO训练成本低至百元；新增低成本 70B SFT/DPO训练方案

  二、课程目录

详细目录：第9/10章节-RL/RLHF

第11章节-LLM加速（以长文档形式授课）

第12章节-LLM分布式训练（以长文档形式授课）

三、课程内容详情

3.1 课程直播+录播

• 已成功开展 6 期【手撕LLM+RLHF】课程

• 在线直播授课、随讲随答，即刻解疑瞬间秒懂, 直播课程会进行录制，便于课后随时学习。

3.2 课件PPT

• 每章均有完整PPT，图解复杂公式、代码实现细节， 1比1复现原论文

• 完整构建LLM知识体系， 拒绝知识碎片化

3.3 源码工程+Notebook

• pytorch工程，代码精简，全部调试可运行，CPU都能Run的代码

• 复杂代码Notebook随手debug，不惧手撕代码

• 非调包级工程、坚持逐行代码剖析算法原理，从代码视角，解密复杂的公式原理。

手撕RLHF PPO代码-Pytorch实现, 不依赖RL库

LLM中的RLHF-PPO算法复杂, 逐行手撕LLM中的PPO算法, 主要通过Pytorch实现。包含4个模型：Ref/Actor/Critic/Reward、PPO采样及训练流程、Loss计算Actor Loss+Critic Loss+Entropy、reward+KL散度...

3.4 实操项目

实操项目1 ：垂域LLM微调Notebook

• 1个月从0搭建LLM，覆盖LLaMA-LoRA-Pretrained-sft-RM-RLHF

 实操项目2 ：DeepSpeed + RLHF + DPO + PPO 代码仓库

DeepSpeed多卡RLHF-PPO训练实操

项目新增70B SFT/DPO 训练方案

同时支持中文模型(baichuan2)垂领域大模型微调

LLaMA Pretrained + SFT

本课程提供的代码仓库，DPO 安全对齐效果

4x3090(24GB) DPO训练成本低至百元

PPO训练效果

（注：不提供算力，本课程所提供项目可在多卡环境一键运行，能低成本run出大模型项目）

我是小冬瓜AIGC，原创超长文知识分享

原创课程已帮助多名同学上岸LLM赛道

知乎/小红书 ：小冬瓜AIGC

微信咨询xiaodongguaAIGC