- 博客(46)
- 问答 (8)
- 收藏
- 关注
RSS订阅原创 NVIDIA Dynamo Frontend 深度解析：从请求入口到推理集群调度内核
在 NVIDIA Dynamo 1.0.1 中，Frontend 已经超出传统 API Gateway 的职责边界。它既处理请求接入和流式回包，也负责 KV Cache 感知路由、Prefill/Decode（PD）链路编排、Worker 选择以及多推理引擎协议适配。Worker 决定 token 如何计算，Frontend 则决定计算是否值得发生、应该在哪里发生，以及失败时如何降级。本文以 1.0.1 的架构为基线，重点分析它的职责边界、核心机制和工程代价。
2026-09-12 16:43:25
381
原创 SGLang HiCache 与分离式推理：技术原理及部署实践
get(key)随后将后端注册到。}'可通过控制是否启用和批量接口。HiCache 本质上是建立在 RadixAttention 之上的分层、跨实例 KV Cache 系统：HiRadixTree 负责组织前缀及缓存位置，L1/L2 提供实例内快速复用，L3 提供大容量和集群级共享；预取、回写、Page 布局、零拷贝和计算传输重叠则负责控制分层存储带来的 I/O 成本。它最适合“前缀重复度高、Prefill 成本高、显存缓存容量不足”的负载。
2026-09-06 00:02:11
237
原创 vLLM 模型编译：从 torch.compile 到分段 CUDA Graph
编译 Pass 可以理解为一套处理计算图的规则。TorchDynamo 捕获 FX 图以后、Inductor 生成 GPU 代码以前，vLLM 会在图中查找特定的节点模式，并进行融合、替换、简化或删除。例如，把RoPE → KV-cache 更新替换成融合实现，或者去掉没有意义的 clone/no-op。这样可以减少 kernel 启动、中间张量和显存读写。Pass 作用在 FX 图上，不依赖某一个模型的forward写法。
2026-08-28 16:52:42
350
原创 vLLM 里的 CUDA Graph：动态推理如何塞进一张“静态图”
回头看，CUDA Graph 做的事情其实很纯粹：用静态性换更低的 CPU 提交成本。设备侧的执行结构和关键地址固定下来，每轮只在 replay 前更新 Buffer 内容。vLLM 也没有试图改变这条规则。动态请求↓ Scheduler 产生每请求 token 数packed token + 动态 KV/attention metadata↓ Dispatcher 选择 mode 与 capture buckettoken/request padding + 静态 GPU Buffer↓。
2026-08-15 19:10:28
229
原创 Megatron Core 并行训练主线：不看代码版
Megatron Core 的代码里同时交织着模型结构、并行切分、通信调度、优化器状态和低精度后端。本文按训练主线梳理这些模块各自解决的问题，以及它们如何接到同一条 GPT 训练流程上。
2026-05-24 18:25:33
406
原创 从一次 Hermes Agent 会话看 System Prompt、Tools 和 Skills
最近我看了一次 Hermes Agent 的会话导出。用户只问了一句话：调研近期大模型知识注入相关论文。这个任务本身不复杂。有意思的是过程：Hermes 没有直接凭模型记忆写一篇综述，而是先加载 arXiv 相关 skill，再用工具多轮检索论文，最后把结果按技术路线整理出来。所以这篇笔记不重点讨论知识注入论文，而是借这次会话看一个 Agent 系统到底怎么工作：system prompt 在管什么，工具是怎么被调用的，skills 为什么有用，tools list 又说明了什么。
2026-05-16 05:10:04
694
原创 介绍下近期的开源大模型
论文因此提出 MiMo-V2-Flash：用更省 KV-cache 与更快解码的设计，在长上下文与智能体任务上尽量逼近顶尖模型表现。他们指出：一些闭源模型在某些单项（如推理或代码修复）非常强，但三项都强的开源通用模型仍稀缺，因此提出 GLM-4.5 系列，目标是统一 ARC 能力，并提供思考/不思考两种响应模式。作者基于 Qwen3-30B-A3B-Thinking 做系统化 post-training，目标是把在长文本里跨多处证据、多跳推理、信息聚合计算的能力真正拉起来。+GRPO 到 56.07；
2026-02-07 12:41:36
1029
原创 理一下OpenRLHF的Ray资源调度和PPO训练流程
DeepSpeed 管“拿到这些 GPU 之后，训练这件事怎么更快、更省显存、更稳定”。你可以把 Ray 看成外层调度器/作业编排，DeepSpeed 看成内层训练引擎。Ray 负责起训练作业 + 分配 GPU，DeepSpeed 负责作业内分布式训练。为例，讲解PPO训练中ray的资源调度机制和PPO训练流程。再具体讲解代码之前，先大概介绍下Ray和DeepSpeed的功能和差异。DeepSpeed 的关注点是单个训练作业内部：拿到 N 张 GPU 后，怎么把模型/参数/梯度/优化器状态拆分与高效同步。
2026-01-17 11:08:34
838
原创 Online RLHF-PPO、GRPO、DAPO等方法
在policy model中，advantage作为概率比的加权值，在value model中，advantage与老的值网络的和作为target，与新的值网络之间计算MSE损失。基于1中训练好的预训练语言模型以及构建好的prompt集，使用beam-search等生成prompt的多个回复结果，然后人工对生成的多个结果排序，然后基于该数据训练了一个6B的打分模型，使用的是pair-wise的ranking loss。不同GRPO、DAPO，VAPO是一种基于值模型的方法，并超越了无值模型的方法。
2026-01-14 16:09:53
728
原创 Offline RLHF-DPO/KTO/ORPO/SPO等偏好学习方法
论文认为在iterative DPO中，每次启动DPO训练，reference model不应该使用最早的SFT模型，因为最新的偏好数据是从最新训练好的模型采样的，而不是从最初的SFT模型中采样，因此每次启动训练都需要更新reference model。论文指出DPO、CPO、SimPO都属于单边对比学习，这类方法会持续地将chosen样本的概率预测拉向1，rejected样本拉向0，这通常对分类样本是有效的，但是对生成模型来说意味着分布过度尖锐，丧失语言多样性和稳定性。
2026-01-13 18:00:50
835
原创 语音大模型-Audio Tokenizer的进展
为了执行下一次的残差量化，需要再进行上采样，并计算下一次的量化残差。在第一级，使用标准的VQ过程来量化信号，然后计算出原始信号与第一级量化后的信号之间的残差，对这个残差再进行一次或多次量化，以进一步减小量化误差，每一级都会产生一个新的残差，然后对新的残差继续量化，这样做可以逐步细化量化结果，提高最终的重建质量。对比EnCodec、SoundStream等基于GVQGAN框架的音频压缩算法，论文提出的DAC具有更低的码率（8kbps），并缓解了音调伪影，音高，周期性伪影以及高频建模不完善的问题。
2025-12-18 15:03:06
793
原创 Qwen3-Omni技术详解
介绍Qwen3-Omni之前，有必要先介绍Qwen2.5-Omni。Qwen3-Omin延续了上一代的模型架构，并做些一些重要改进。
2025-11-22 18:46:17
1522
原创 PTX指令集基础以及warp级矩阵乘累加指令介绍
在32位数据类型上，PTX的16位寄存器会映射到32位物理寄存器，16位计算也会提升为32位计算，这可能导致同一代码在16位和32位机器上的计算结果出现差异，额外的精度位可能在应用层面显现（如右移指令）。因此，PTX中16位指令的语义是机器特定的，以避免32位GPU上16位代码的性能损失。从PTX语言层面，一种解决方案是为16位代码定义与16位数据类型执行一致的语义，但这会使16位代码在32位数据类型上执行时产生性能损失（需额外屏蔽指令处理高位多余精度位）。指令必须包含数据类型修饰符。
2025-07-28 17:58:31
1555
原创 CUDA C++核心库（CCCL）
横轴意义：从左到右，工具呈现从 “高层且易用（High-Level & Productive）” 到 “底层且更具控制力（Low-Level & More Control）” 的变化。左侧起点（绿色箭头 “Start Here”）：建议从高层工具开始，如Thrust，因其易用性高、能提升开发效率。右侧终点（红色箭头 “Don’t Start Here”）：不建议直接从底层工具（如 PTX Wrappers）入手，这类工具复杂且维护难度大。解释。
2025-07-22 18:44:45
1466
原创 全网最详llm.c源码解读--forward、backward、AdamW等CUDA Kernel详解
/ 执行完之后acts.output存储logits的梯度// 融合的分类头：前向计算和部分反向计算// ix是真实类别标签// 只计算真实类别标签所在位置的prob，其他位置均为0// sp.Offset/sp.Scale：softmax的数值稳定参数// 计算loss：-logsumexp// dloss是损失函数对当前样本的梯度(样本是指每个token的损失)，表示整体损失对当前样本损失的偏导数= NULL?i < V;
2025-07-21 22:16:39
771
原创 NCCL的基本使用和常用通信算法源码分析
理解 NCCL 中的“通道”概念是掌握其高性能通信设计的关键。它本质上是实现空间并行性的一种机制，用于更充分地利用网络硬件资源（链路带宽、网络接口卡、交换机端口），从而加速大型集合通信操作（尤其是像 AllReduce 这样需要传输大量数据的操作）。这个例子对应的就是PyTorch Distributed Data Parallel里面的AllReduce操作。这个例子对应的就是PyTorch Data Parallel里面的AllReduce操作。
2025-07-03 14:07:51
1687
原创 Liger Kernel中的部分优化kernel详解
RMSNorm 的反向传播本质是链式法则的应用：由于输入xix_ixi参与了所有yky_kyk的归一化（分母含全局平方和），因此梯度需要遍历所有yky_kyk并累加其对xix_ixi的偏导。推导中需区分kik=iki（自身梯度）和k≠ik \neq iki（交叉梯度）两种情况，最终整合得到dxidx_idxi的表达式。
2025-07-01 14:18:33
1356
原创 NVCC编译以及Triton编译介绍
Triton编译器会将DSL代码经过多个阶段的编译，最终生成CUBIN/fatbinary格式的可执行文件。前端：DSL 解析与语义分析解析用户编写的 Triton DSL 代码（如张量计算逻辑、内存访问模式），生成抽象语法树（AST）。验证语义合法性，例如检查张量形状匹配、内存访问越界等问题。中间表示（IR）生成与转换将 AST 转换为 Triton 自定义的中间表示（如静态单赋值形式，SSA），便于后续优化。
2025-06-30 22:20:55
1763
原创 TRPO和PPO算法详解
TRPO 算法在很多场景上的应用都很成功，但是我们也发现它的计算过程非常复杂，每一步更新的运算量非常大。PPO 基于 TRPO 的思想，但是其算法实现更加简单。并且大量的实验结果表明，与 TRPO 相比，PPO 能学习得一样好（甚至更快），这使得 PPO 成为非常流行的强化学习算法。PPO的一种形式是PPO-惩罚，使用拉格朗日乘数法直接将KL散度的限制直接放在了目标函数中，这就变成了无约束的优化问题，在迭代的过程中不断更新 KL 散度前的系数。
2025-04-06 16:14:14
1145
原创 Policy gradient相关算法
虽然带基线的 REINFORCE 有一个策略网络和一个价值网络，但是这种方法不是actor-critic。价值网络没有起到“评委”的作用，只是作为基线而已，目的在于降低方差，加速收敛。真正帮助策略网络（演员）改进参数 θ（演员的演技）的不是价值网络，而是实际观测到的回报。DPG是一个off-policy算法，收集transition的行为策略和优化的目标策略是不同的。因此，添加baseline不会改变策略梯度，但是会减小方差，使得训练更加稳定。A2C和REINFORCE with baseline的区别。
2025-04-01 11:58:35
808
原创 DQN及其改进
stst1ytrtγ⋅maxaQst1a;w)xiQixiEmeaniQi)]meanixi)EmaxiQi)]≥maxixi)Qsta;w)Qst1a;w)a∗aargmaxQst1a;w)ytrtγ⋅Qst1a∗;w−)Qst1a∗。
2025-04-01 11:57:23
1112
原创 RL基础以及AlphaGo、AlphaGo Zero原理
Qsa是agent在状态s下执行某一个动作（如向上走），所获得的及时奖励和未来折扣的累计奖励Vs是agent在状态s下执行每个动作（上、下、左、右），所获得的加权奖励值（期望奖励值），主要用来评估状态s的好坏，与动作无关Qsa和VsVπstEAQπstAa∑πa∣st⋅QπstaVπstEAQπstA∫πa∣st⋅Qπsta。
2025-03-28 19:21:24
1186
原创 AI抑郁症检测
可穿戴设备在抑郁症检测中的应用表现出了良好的前景，尤其是在身体活动、睡眠模式和心率数据的收集和分析方面。然而，目前设备和算法仍需进一步优化，尤其是在设备种类多样化和与其他数据的融合方面。设备类型与使用情况可穿戴设备在抑郁症检测中广泛应用，常用设备包括Actiwatch系列和Fitbit系列，主要佩戴于手腕。这些设备通过监测身体活动、睡眠模式、心率和其他生理数据，为抑郁症检测提供丰富的数据来源。数据类型与作用身体活动数据（如步数、卡路里消耗）：用于评估运动量与心理健康的关联。睡眠模式。
2025-01-15 19:38:03
2887
原创 生成式奖励模型（generative reward model）的几种方法
*生成性奖励模型：**不同与常见的基于BT的奖励模型，生成性的奖励模型（generative reward model）使用大模型本身的生成推理能力，进行偏好的分类计算。
2024-11-22 12:07:46
2015
原创 Mini-Omni论文精读Mini-Omni: Language Models Can Hear, Talk While Thinking in Streaming
具体实现是对text token和audio token同时解码，并加入delay机制，使得text token先生成，来指导音频的生成。音频编解码器一般使用残差向量量化RVQ对音频特征进行离散化，经过多层量化之后，audio token由Q个向量组成，Q是codebook的数量。解码时可以顺序进行，但是对于实时音频生成任务来说，并行解码是一种更合适的方案。将audio token和text token合并成新的词表，生成时同时预测audio token和text token，Loss如下。
2024-10-01 00:22:50
1173
原创 Moshi论文精度 Moshi: a speech-text foundation model for real-time dialogue
为了将text token与audio token进行对齐，使用whisper对语音进行识别，获取识别文字的时间窗口，从而对应到audio token，未被text token覆盖到的时间窗口使用PAD token来表示，并在下一个text token前添加EPAD，表示padding的截止符。两个音频流的audio token直接进行拼接，如果使用了Q个codebook，那么量化向量的数量为2Q，此时RQ-Transformer的每个step输入时2Q个量化向量。
2024-09-29 14:47:44
2271
2
原创 VITA: Towards Open-Source Interactive Omni Multimodal LLM论文笔记
声音打断交互：同时部署两个模型，生成模型用来回复用户的query，而监测模型同时监测环境声音，当监测到有效的query时，生成模型终止回复，并将上下文提供给监测模型，监测模型开始对新query进行回复，而生成模型对环境生成进行监测，二者完成了身份的互换。训练过程：为了对不同模态类型的输入进行更好的交互，在训练时，针对不同的输入模态类型，在答案的开始位置添加相应的特殊token，语音query添加<1>，噪声语音query添加<2>，纯文本query<3>数据源与对齐阶段的数据相同，做了一些改变。
2024-09-27 16:15:58
625
1
原创 大模型奖励黑客Reward Hacking（也叫Reward Overoptimization）问题的相关论文介绍
在基于人类反馈的强化学习优化过程中，当以reward model的评分作为奖励进行优化时，如果reward model不能完全代表人类的偏好，就可能出现奖励黑客，即reward hacking。本文主要研究了基于大模型的生成器和评估器的自我迭代的框架中，由于基于大模型的评估器并不能代表人类真实的判断意图，造成存在一定的reward hacking问题。提出了一种改进的RM算法，ODIN，即使用length header和content header，推理时，只使用content header的奖励值。
2024-09-09 16:26:40
3592
原创 近期一些MoE-LoRA的相关Paper
提出了一种MoE-LoRA架构模型PESC，该方法使用了串行结构的adapter-MoE，并在损失中添加了expert balance loss。
2024-09-01 22:35:19
1701
原创 RLHF中reward model的奖励值有哪些计算方法？Loss如何计算？
获取输入序列的最后一个token的hidden state，然后接一个线性层映射到一个标量值，然后使用MES等计算loss。要求训练数据的标签是一个标量值（打分值）。基于传统的文本分类的方法，如使用cls的hidden state，或者对sequence hidden state进行pooling操作，接线形层进行分类。获取输入序列的最后一个token的hidden state，然后接一个线性层映射到2分类（accept和reject），然后使用交叉熵损失计算loss。Anthropic的实现方式。
2024-06-04 00:58:25
2867
原创 Lora及其变体
RoSA: Accurate Parameter-Efficient Fine-Tuning via Robust AdaptationLearning to Route Among Specialized Experts for Zero-Shot GeneralizationAFLoRA: Adaptive Freezing of Low Rank Adaptation in ParameterEfficient Fine-Tuning of Large ModelsLoTR: Low Tensor
2024-03-24 16:19:47
2383
1
原创 强化学习基础
1. 价值迭代是贪心更新法2. 策略迭代中，用Bellman等式更新价值函数代价很大3. 对于空间较小的MDP，策略迭代通常很快收敛4. 对于空间较大的MDP，价值迭代更实用(效率更高)5. 如果没有状态转移循环，最好使用价值选代R%28s%29%5Cpi%5Cpi。
2023-12-16 20:42:43
1739
1
原创 Actor-Critic(AC)、A2C、A3C
A3C将actor与环境的交互变成了异步的，每个worker可以分别与环境进行交互，并进行参数更新，更新完之后需要梯度更新到global network，并拉取最新的global network的参数替换掉worker的参数。我们将AC需要学习三个网络（Q函数，V函数，策略网络）优化成了只需要学习V函数和策略网络。是非常不稳定的，只有当采样丰富的样本时，才可以获得接近真实的G值，但是现实情况往往不能采样足够丰富的样本。Q值：S状态下有若干个动作，每个动作的Q值，就是从这个动作之后所获得的奖励总和的期望值。
2023-12-16 00:08:03
269
1
原创 SARSA、Q-learning
Q-learning时value-based的方法，学习的不是policy，而是critic，critic并不直接决定action，而是评估一个actor有多么的好。通过把state输入到值网络中，从而得到累计奖励。值网络的学习可以使用Monte-Carlo方法，需要进行完整个game，然后计算某个state对应的累计奖励，然后最小化该累计奖励和值网络输出值，从而学习值网络模型。值网络的学习也可以使用Temporal-difference（TD）方法。输入到值网络得到的累计激励，与。
2023-12-15 23:03:41
593
原创 LLaMA、Baichuan、ChatGLM、Qwen、天工等大模型对比
https://github.com/THUDM/ChatGLM-6Bhttps://github.com/THUDM/ChatGLM2-6Bhttps://github.com/THUDM/ChatGLM3其他开源项目。
2023-12-08 14:12:48
8879
空空如也
客户端去操作hdfs时，出现异常
2018-10-17
问题不大，代码有点长，求大神解答：tensorflow生成tfrecord文件运行不下去
2018-09-01
TA创建的收藏夹 TA关注的收藏夹
TA关注的人