- 博客(111)
- 收藏
- 关注
RSS订阅原创 大模型 RL/后训练高频基础面试题总结
🎯相关内容已经总结到下方学习笔记中，持续更新！在平台提供大模型一手、原创、深度解析！带给大家更多好玩实践项目。📌 本期总结 RL / Agentic RL / 后训练高频基础面试题题单。📒 详细解析内容➡️滑图查看！
2026-10-23 10:30:03
8
原创 为什么DPO中chosen/rejected概率同时下降？
📌 本期解析鹅厂大模型算法岗面试题：DPO 训练时 chosen 和 rejected 概率同时下降是什么原因？🎯相关内容已经总结到下方学习笔记中，持续更新！在平台提供大模型一手、原创、深度解析！带给大家更多好玩实践项目。📒详细解析内容➡️滑图查看！
2026-10-19 10:11:07
20
原创 【清华代码熊】Agentic OPD 发展脉络总结（2026.10版）
📌 传统 OPD 方法拓展到 multi-turn agent 场景（Agentic）会导致依赖的三个假设不成立：1. 监督单位与信用单位重合。2. teacher 在 student 到达的状态上有定义。3. 稠密的 teacher-student 对数概率比可以作为价值估计。 📒 Agentic OPD 从不同方向分别缓解以上问题，本期总结 Agentic OPD 发展脉络，详细解析内容➡️滑图查看！
2026-10-13 20:00:03
208
原创 【清华代码熊】Agentic RL 开源项目推荐（2026.10版）
📌 本期带来 2026 年的 Agentic RL 开源项目推荐（简历项目可以基于此实现），筛选总结了几个方向：🌟 奖励建模改进（Reward Modeling）🌟 上下文压缩与管理（Context Compression）🌟 算法改进（RL Optimization）🌟 探索与数据供给（RL Training Data）🌟 单节点训练框架（Single-Node Framework）
2026-10-06 21:17:19
171
原创 【清华代码熊】DeepSeek V4.1 Flash 后训练详解
📌 上期解析了 DeepSeek V4.1 Flash 模型架构改进，本期解析 DeepSeek V4.1 Flash 预训练/后训练技术：🌟 预训练：45T 文本 + 多模态混合语料、直接训练 sparse attention（取消 DeepSeek V4 的 dense 冷启动）、DeepSeek-ViT 通过 contrastive pre-training + autoregressive fine-tuning 两阶段预训练。🌟 后训练：复用 V4 后训练 Pipeline，不引入新的后
2026-10-03 10:41:06
112
原创 【清华代码熊】On-Policy Distillation（OPD）开源项目推荐
📌 本期带来 2026 年的 On-Policy Distillation 开源项目推荐（简历项目可以基于此实现）筛选了几个方向：🌟 Multi-Teacher OPD（多 Teacher 蒸馏）🌟 Agentic OPD（多轮长程 Agent OPD）🌟 Self-Distillation（自蒸馏）🌟 Multimodal OPD（多模态 OPD）🌟 Objective and Mechanism（OPD 机制改进）
2026-09-25 22:32:10
212
原创 【清华代码熊】Single Rollout RL 算法总结（2026.09版）
📌 先前的文章回顾了 PPO 到 GDPO 的发展历程，其中 GRPO 系列改进算法均依赖 prompt 组采样来估计优势。 📌 最近 GLM-5.2 引入了 SAO（Single-Rollout Asynchronous Optimization）强化学习算法用 single rollout 替代组采样：每个 prompt 只采样一条、生成后立即进入训练，消除组采样最慢样本与不均衡生成带来的 off-policy（Policy Staleness）。 🎯 本期将详细梳理 Single Rol
2026-09-22 11:20:53
234
原创 【清华代码熊】DeepSeek-V4.1-Flash 多模态架构解析
📌 本期解析 DeepSeek-V4.1-Flash 多模态架构，DeepSeek-V4.1-Flash 整体架构包括 CED/CSA2 技术改进参考上一篇。
2026-09-18 23:10:51
192
原创 【清华代码熊】DeepSeek-V4.1-Flash 技术报告/架构解析
📌 本期解析 DeepSeek 发布的多模态大模型 DeepSeek-V4.1-Flash，相比 DeepSeek V4 结构大改，已经集成先前 DeepSeek 几项实验性技术：mHC/Engram/DSpark，以及 CED/CSA2 的架构创新，本期详细解析🔥
2026-09-15 17:02:25
222
原创 【清华代码熊】GLM/Qwen/Kimi/DeepSeek 基座模型架构对比
📌 本期对比解析 GLM-5.3-Flash / Kimi K3 / DeepSeek V4 / Qwen3.8-Flash-Next 开源基座架构。
2026-09-11 09:54:56
59
原创 【清华代码熊】VLM 使用的 2x2 PatchMerger 代码/原理解析
📌 最近发布的 GLM-5.3-Flash / Kimi-K3 / Qwen-3.8 等多模态模型仍然是遵循 VE-Projector-LLM 的三段式架构，Projector 架构都是来源于 Qwen 早期的 Patch Merger 进行 2x2 图像降采样，本期解析 Patch Merger 降采样原理。
2026-09-09 13:10:39
114
原创 【清华代码熊】多模态Qwen-3.8-Flash-Next视觉编码器解析
📌 本期继续拆解 Qwen-3.8-Flash-Next 模型架构，关注多模态视觉编码器（VE）部分架构设计。
2026-09-07 11:28:35
204
原创 【清华代码熊】Qwen3.8-Flash-Next 模型架构 & 代码解析
📌 本期解析Qwen3.8-Flash-Next 模型架构（Qwen-4 架构前瞻版本），可以对照 GLM-5.3-Flash 架构理解。 📌 包含知识点：🌟 GDN 混合注意力架构🌟 QSA（Qwen Sparse Attention）/ 蒸馏训练 CPT🌟 GR（Gated Residual）🌟 N-gram 嵌入层
2026-09-05 10:09:47
304
原创 【清华代码熊】GLM-5.3-Flash 架构解析：KDA + IndexPool
📌 本期解析 GLM-5.3-Flash 架构，包含知识点：🌟 KDA 线性注意力（Kimi Delta Attention）🌟 DSA + IndexPool（K-Pool 压缩索引器）🌟 NoPE MLA：语言主干舍弃 RoPE🌟 mHC（Manifold-Constrained Hyper-Connections）
2026-09-01 08:11:40
228
原创 【清华代码熊】On-Policy Distillation（OPD）系列文章总结
📌 本期总结一下最近的 On-Policy Distillation（OPD）解析文章：🌟 OPD 基础概念🌟 OPD 的两种变体 / 拓展🌟 OPD 的拓展形式 / 关键问题🌟 Qwen/Kimi/GLM/DeepSeek/MiMo 等基座的 OPD 实践路线
2026-08-27 23:37:37
242
原创 【清华代码熊】Qwen/GLM/DeepSeek基座MoE路由回放策略对比
📌 上期介绍了 MoE 模型 RL 过程中的 R2/R3 路由回放策略，本期总结Qwen/GLM/DeepSeek/MiMo等基座中使用的路由回放策略、以及后续的改进。
2026-08-26 21:10:24
150
原创 【清华代码熊】面试官：大模型 RL 训推不一致原因？解决方案
📌 今天解析面试题：大模型 RL 训推不一致原因？解决方案有哪些？可以结合上期 R2/R3 路由回放一起看。
2026-08-24 21:05:23
229
原创 【清华代码熊】面试官：MoE 模型的 RL 为什么需要路由回放？
📌 本期解析面试题：MoE 模型的 RL 为什么需要路由回放？路由回放的 R2 / R3 策略的原理和区别？
2026-08-21 22:08:46
44
原创 【清华代码熊】verl 框架Critic-free RL算法脉络梳理/解析
📌 本期解析 verl 中的 critic-free RL 算法发展脉络：ReMax、RLOO、GRPO、REINFORCE++。
2026-08-20 08:36:06
169
原创 【清华代码熊】小红书dots3-note Preview架构/TEMPO解析
📌 最近小红书发布并且开源了 dots3-note Preview 模型，本期结合技术博客《dots3-note Preview: A Small but Mighty Step Toward Long-Horizon Agency in Real Life》和代码解析 dots3-note Preview 的模型架构 / 以及长程 Agentic 任务后训练算法 TEMPO：Test-Time-Scaled Value Estimation with Macro-Step Policy Optimiza
2026-08-17 20:59:18
221
原创 【清华代码熊】解析｜GLM 5.3 后训练技术博客
📌 本期深度解析 GLM 5.3 官方技术博客《GLM-5.3: Frontier Coding with Emergent Cyber Capabilities》 📌 GLM-5.3 在 GLM-5.2 的上基座主要进行了后训练拓展：环境拓展、任务多样性拓展、算力拓展：在模型架构、基础设施上，GLM-5.3 继承了 GLM-5.2 已经搭建好的长程任务环境 stack。RL Scaling 的难点从模型转移到环境，GLM-5.3 在环境/任务合成上用 pipeline 端到端合成环境，部分任务
2026-08-16 00:13:06
192
原创 【清华代码熊】Top-K On-Policy Distillation选择KL散度？
📌 本期解析 On-Policy Distillation（OPD）中 Top-K OPD 的实现：为了降低全词表的通信/显存影响，在 Top-K 支撑集上优化 KL 而非全词表 KL，本期详细解析原理/如何配置？
2026-08-13 21:27:08
211
原创 【清华代码熊】Agent Harness 工程实践之（4）：Agent Loop
📌 Agent Harness 是 2026 年上半年 Agent 技术代名词，这个系列会系统讲解 Agent Harness 在各个维度的做法。 🔥 这个系列会通过解析 Claude Code / DeepAgents / OpenHands 等框架，通过“了解Harness 工业做法” 学习 Harness。
2026-08-12 21:29:14
49
原创 【清华代码熊】解析 Kimi K3 Multi-Token Prediction（MTP）
📌 本期解析 Kimi K3 的推理优化 Multi-Token Prediction（MTP）算法设计/实现策略。 📌 Speculative Decoding（投机解码/推测解码）已经成为长程 Agent 模型降低 Decode 时延的关键，同期 DeepSeek V4 的 DSpark、GLM-5.2 的 IndexShare-MTP、阶跃的 JetSpec 都（准备）在各自的基座中集成推测解码技术。
2026-08-10 22:37:58
257
原创 【清华代码熊】总结｜Kimi-K3 后训练算法、模型架构、Infra
📌 今天总结最近解析的 Kimi-K3 后训练算法、模型架构、Infra 相关技术重点。
2026-08-07 21:29:39
34
原创 【清华代码熊】OPD算法Sampled-Token 和 Full-vocab 区别
📌 本期解析：On-Policy Distillation 算法中 Sampled-token OPD / Full-vocabulary OPD的区别？
2026-08-04 20:59:18
181
原创 【清华代码熊】总结｜Kimi / GLM / DeepSeek后训练OPD算法
📌 本期对比总结Kimi K3/ GLM 5/ DeepSeek V4 后训练On-Policy Distillation 算法。
2026-08-03 21:32:35
27
原创 【清华代码熊】拆解｜Kimi K3 架构：KDA、AttnRes、LatentMoE
📌 本期结合 Kimi K3 技术报告/架构源码拆解架构设计，详解 K3 架构如何支持 1M 上下文拓展、2.8T参数扩容。
2026-08-01 21:15:47
36
原创 【清华代码熊】On-Policy Distillation 正向/反向KL区别？
📌 本期解析秋招提前批面试题：On-Policy Distillation 算法中正向KL / 反向KL区别？sampled-token OPD / Full-vocabulary OPD的区别？
2026-07-27 23:40:08
172
原创 【清华代码熊】On-Policy Distillation 使用 RL 框架实现？
📌 为什么 MiMo-V2-Flash（MOPD）和 GLM-5 通过替换 GRPO 训练框架中的优势项可以实现 OPD。
2026-07-24 02:31:26
23
原创 【清华代码熊】PPO优化算法为什么clip后仍然需要min操作？
📌 今天解析秋招提前批面试题：为什么PPO优化算法中clip之后仍然需要min操作？
2026-07-23 04:05:49
161
原创 【清华代码熊】总结｜DeepSeek-V4 后训练算法、架构、Infra
📌 今天汇总一下 DeepSeek-V4 后训练算法、模型架构、Infra 相关技术。
2026-07-20 15:28:46
232
原创 【清华代码熊】总结｜GLM-5.2 后训练算法、模型架构、Infra
📌 今天汇总一下 GLM-5.2 后训练算法、模型架构、Infra 相关技术。
2026-07-16 12:21:22
172
原创 【清华代码熊】项目实践17: RFT 冷启动 RL Agent 训练
📌 我们在项目实践：多模态 RL Agent（DAPO算法 & VeRL框架 & Think with images） 里用 DAPO 做的在线 RL：每一步先 rollout、再用 reward 过滤更新。对一个 Instruct 模型来说，初始策略在工具协议下产出可验证答案的概率很低，这会导致：🌟 初期一个 prompt 采样 n 个回答几乎全是 0 reward，DAPO 的动态采样会反复重采、效率低。🌟 模型把算力花在学格式而不是学工具/推理上。冷启动的目标，就是给 RL 一个起始就 r
2026-07-14 17:48:20
192
原创 【清华代码熊】两篇论文看GLM5.2后训练:SAO、CompactionRL
📌 本期解析最近一周智谱&清华的两篇涉及GLM5.2后训练的论文 SAO、CompactionRL。 ↩️ 相比我们之前的理论分析帖子《GLM-5.2 Agentic RL 训练策略拆解：从 GRPO 回到 critic-based PPO》，现在从更官方的角度解析 GLM-5.2 后训练。
2026-07-13 21:52:47
237
原创 【清华代码熊】Qwen/GLM/DeepSeek等基座模型 OPD 技术总结
📌 今天主题：回顾Qwen/Mimo/GLM/DeepSeek各家基座模型中的 On-Policy Distillation（OPD）技术。
2026-07-10 18:28:54
195
原创 【清华代码熊】Agentic RL 开源项目推荐（2026.07版）
📌 本期带来2026年上半年的 Agentic RL 开源项目推荐（简历项目可以基于此实现）筛选了几个方向：🌟 奖励建模改进（Reward Modeling）🌟 上下文压缩与管理（Context Compression）🌟 算法改进（RL Optimization）🌟 探索与数据供给（RL Training Data）
2026-07-06 09:29:14
234
原创 【清华代码熊】解析｜DeepSeek DSpark 技术细节 & 代码解读
📌 本期解析最近 DeepSeek 的 Infra 推测解码工作 DSpark，直接用用 DeepSeek 家目前的基座模型 DeepSeek-V4-Pro-DSpark。
2026-07-02 21:42:47
267
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人