- 博客(852)
- 资源 (112)
- 收藏
- 关注
RSS订阅原创 09_DeepSpec-DSpark-使用指南_从零到评测
把自有数据集接入评测：fill:#333;important;important;fill:none;color:#333;color:#333;important;fill:none;fill:#333;height:1em;接入步骤准备 JSONL每行 {turns: [user_msg]}放到 eval_datasets/.jsonleval.py 的 TASKS 加跑 eval.py评测数据格式：每行 JSON 含。
2026-07-06 23:42:50
134
原创 10_DeepSpec-DSpark-总结_工程经验与未来方向
本文总结了DeepSpec项目的核心工程经验与未来方向。DeepSpec通过标准化流程实现了"为任意目标模型训练推测解码草稿模型"的可复用方案，包含5000行Python代码的端到端流水线。核心经验包括：1) 目标缓存解耦训练与目标模型；2) 统一训练器抽象支持三算法插拔；3) FSDP+bf16 master优化训练；4) 置信度头实现无损加速基础；5) STS校准确保调度准确性。代码分析发现DFlash是DSpark的退化配置，Eagle3有严格的层数约束和梯度平衡机制。未来将探索思考模式支持、难度感知
2026-07-06 23:42:32
217
原创 07-PEFT源码阅读-量化与分布式集成
PEFT量化与分布式集成概览 本文解析了PEFT（参数高效微调）如何与量化技术及分布式框架协同工作。主要内容包括： 双路径集成机制： 前向路径：通过dispatch_*函数返回量化层类，执行量化计算与LoRA增量 合并路径：通过QuantizationBackend抽象类统一处理权重合并操作 量化后端支持： 完整支持：bnb 8/4bit、HQQ（支持反量化/合并） 有限支持：torchao（部分支持合并） 仅前向：GPTQ/AWQ/AQLM/EETQ等（不支持权重合并） 分布式集成： 与Accelerat
2026-07-06 23:40:13
99
原创 10[EXT]-PEFT源码阅读-LoRA系列与变体深入对比
LoRA（Low-Rank Adaptation, arxiv 2106.09685）假设权重更新 ΔW\Delta WΔW 是低秩的，将其参数化为两个小矩阵的乘积：ΔW=BA,B∈Rd×r, A∈Rr×k\Delta W = B A,\qquad B \in \mathbb{R}^{d \times r},\ A \in \mathbb{R}^{r \times k}ΔW=BA,B∈Rd×r, A∈Rr×kh=W0x+ΔW x=W0x+s⋅B(Ax)h = W_0 x + \Delta W\, x
2026-07-06 23:39:44
53
原创 09-PEFT源码阅读-总结与最佳实践
模式体现价值注册表（Registry）+ 4 全局映射解耦扩展与核心组合优于继承PeftModel持有BaseTuner而非继承同一门面承载任意 tuner模板方法（Template Method）骨架 +钩子复用流程、子类只填空职责链（Chain of Responsibility）dispatch_*顺序尝试、第一个命中胜出量化优先级可调、可插拔策略（Strategy）的 4 个静态方法同一LoraLayer承载多种变体。
2026-07-06 23:39:12
164
原创 08-PEFT源码阅读-使用指南与实战案例
用正则匹配所有 attention 的 q/v 投影modules_to_save=["classifier"], # 分类头训练。
2026-07-06 07:48:12
238
原创 06-PEFT源码阅读-代表性Tuner对比剖析
本篇横向对比 PEFT 库中除 LoRA 外的代表性方法。先总览方法分类，再分点拆解 IA³、AdaLoRA、Prefix/Prompt/P-Tuning、LoHa/LoKr、OFT/BOFT、VeRA、FourierFT/HRA、Poly、XLora 的原理与代码差异，最后用参数量-表达力对比图与汇总表收束。
2026-07-05 16:29:08
27
原创 05-PEFT源码阅读-LoRA深入剖析
本文深入剖析了LoRA（Low-Rank Adaptation）的核心原理与实现细节。LoRA通过低秩分解将权重更新ΔW表示为两个小矩阵BA的乘积，显著减少参数量（例如从1600万降至6.6万）。文章首先概述了数学原理和代码结构，随后详细解析了关键组件：LoraConfig配置参数、LoraLayer前向计算流程、初始化策略、多种变体（如DoRA/VeLoRA等）、权重合并/卸载方法，以及与其他量化/分布式后端的集成。通过矩阵分解图和代码分析，展现了LoRA如何在不改变原始模型参数的情况下实现高效微调。
2026-07-05 16:27:43
95
原创 04-PEFT源码阅读-适配器注入机制
PEFT 适配器注入机制解析 本文详细剖析了 PEFT 框架中适配器注入的核心机制 inject_adapter，将其分为四个阶段： 准备阶段：完成配置转换、模型检查、目标模块预处理等工作 匹配阶段：通过正则、精确匹配或层号筛选目标模块 创建阶段：区分已有适配器层（追加新适配器）和原生层（创建新适配器层） 收尾阶段：处理权重绑定、设置可训练参数等 关键设计包括： 灵活的目标模块匹配规则（支持正则、列表、层号过滤等） 分层适配器机制（允许单层支持多个适配器） 模块化dispatcher设计（支持多种量化方案和
2026-07-05 16:26:06
68
原创 03-PEFT源码阅读-PeftModel详解
文章摘要： PeftModel是PEFT库的用户入口类，采用门面设计模式，组合底层适配器模型并提供统一API。其核心特性包括：1)支持多种任务子类(如因果语言模型、序列分类等)；2)适配器和提示学习两种实现路径；3)多适配器管理能力。关键功能涵盖模型构造、前向传播、保存/加载、权重合并/卸载等。通过状态机管理适配器生命周期，PeftModel实现了对底层适配器技术的统一封装，简化了参数高效微调的使用。
2026-07-05 16:24:35
71
原创 02-PEFT源码阅读-核心架构剖析
本文分析了PEFT（参数高效微调）的核心架构设计，主要分为四层：入口层（包括get_peft_model和PeftModel等）、编排层（BaseTuner及其子类）、层适配层（BaseTunerLayer及其实现）和支撑层（配置、注册等）。关键点包括： PeftModel通过组合而非继承方式使用BaseTuner； 采用分层架构实现模块化，各层职责清晰； 通过QuantizationBackend委托实现量化无关的权重合并； 类继承关系展示了代码复用策略（如AdaLora复用LoRA基础设施）。 架构设计
2026-07-05 16:18:12
158
原创 21-vLLM 可观测性分析：Metrics & Monitoring
装饰器用于注册自定义算子，支持插件扩展 CUDA kernel。fill:#333;important;important;fill:none;vLLM 性能优化内存优化:虚拟内存管理:Block 粒度分配:公共前缀复用:RadixTree 组织:CPU 卸载:跨实例共享吞吐优化:迭代级调度:动态 batch 组装:Prefill/Decode 混合:延迟均衡计算优化:消除 CPU 开销:形状缓存:AllReduce 通信:重叠通信计算:xFormes。
2026-07-05 16:16:56
194
原创 19-vLLM 结构化输出约束分析文档
vLLM推测解码技术分析摘要 vLLM推测解码是一种利用小型草稿模型(Draft Model)快速生成候选token，再由大型目标模型(Target Model)验证接收的加速技术，典型加速比可达2-4倍。该技术通过将轻量级草稿模型的快速生成能力与大型目标模型的准确性验证相结合，大幅降低计算开销。核心原理包括：草稿模型生成K个候选token，目标模型一次性验证所有候选，通过拒绝采样算法决定接受/拒绝。vLLM支持多种草稿模型方法（如EAGLE、Medusa、N-gram等）和两种拒绝采样方式（标准概率和合成
2026-07-05 16:16:31
317
原创 20-vLLM 可观测性分析：Metrics & Monitoring
vLLM 可观测性架构摘要 vLLM构建了完整的可观测性体系，包含四大核心模块： 1. 指标收集系统 核心组件perf.py通过组件化Parser Chain架构计算MFU和内存带宽 支持Attention/FFN/Unembed三大组件FLOPs计算，完整覆盖MoE模型 采用ExecutionContext和PerfStats数据结构聚合批处理统计信息 2. 日志系统 基于工厂模式实现StatLogger体系 提供Ray分布式计算框架适配层 3. 追踪与性能分析 集成OpenTelemetry实现分布式追
2026-07-05 16:16:23
159
原创 01-PEFT源码阅读-项目总览与设计理念
摘要： HuggingFace PEFT（参数高效微调）是一个开源库，支持通过仅训练少量额外参数（通常0.1%-1%）实现大模型下游任务适配，显著降低显存占用和存储成本。其核心原理是将权重变化投影到低维子空间，冻结主干模型，仅微调适配器模块。PEFT库整合了40+种方法，分为提示类（Prompt-based）、层调优类（Layer Tuning）和适配器类（Adapter），其中LoRA系方法最主流。设计上采用组合优于继承、注册制扩展等原则，与HuggingFace生态无缝集成，成为适配器编排的中间件。PE
2026-07-05 16:15:29
270
原创 2026年07月04日全球AI前沿动态
AI产业与财经动态摘要（2026.7.4） 技术突破：GPT-5.6、Claude Sonnet 5等大模型迭代，开源社区涌现GLM-5.2等轻量化模型；具身智能领域，优必选发布全球首款量产人形机器人U1；单细胞AI模型AURA CellOS、超导材料发现智能体ElementsClaw展现垂直领域潜力。 智能体生态：阿里云推出Qoder Cloud Agents重塑云交互，腾讯Miora实现全流程创意生产；开源教程Hello-Agents引爆开发者社区，Datawhale项目获6.3万星标；多智能体系统Pr
2026-07-05 15:53:08
551
原创 18-vLLM 结构化输出约束分析文档
本文档深入分析了vLLM的结构化输出系统，重点介绍了其架构实现与四种后端工作方式。主要内容包括： 配置层：通过StructuredOutputsConfig实现引擎级配置，支持自动选择或指定后端（xgrammar/guidance/outlines/lm-format-enforcer），并定义语法约束参数。 后端实现： XgrammarBackend：基于MLC-AI的高性能语法约束库，支持GBNF格式 其他三种后端（Outlines/Guidance/LMFormatEnforcer）各具特色，适用于不
2026-07-04 16:07:49
78
原创 17-vLLM 编译与运行时优化分析
vLLM编译与运行时优化分析摘要 vLLM框架通过深度集成PyTorch的torch.compile实现了多层编译优化架构，主要包含三大核心子系统： 编译优化系统： 采用Dynamo+Inductor编译流水线 支持自定义算子注册与平台分发（CUDA/ROCm/CPU/TPU） 包含图分割、分段编译、代码生成等优化Pass CUDA Graphs加速： 支持分片图(Piecewise)和全图(Full)两种捕获模式 通过CUDAGraphWrapper实现捕获/回放调度 特别优化了视觉编码器图捕获 支撑系统
2026-07-04 16:06:20
97
原创 16-vLLM CUDA_C++ 内核层深度分析
本文分析了vLLM框架的服务接口层(API Layer)实现，主要包括： 多协议API支持：通过FastAPI实现OpenAI兼容API（/v1/chat/completions等端点），同时支持Anthropic协议和gRPC接口 模块化架构： 动态路由注册机制，按需加载功能端点 核心功能包括聊天补全、文本补全、嵌入等 支持批处理、SageMaker集成等扩展场景 关键实现： 基于FastAPI构建HTTP服务，支持流式响应(SSE) 提供CLI命令行和高级LLM API两种使用方式 包含SSL/TLS支
2026-07-04 16:02:28
234
原创 15-vLLM 服务接口层（API Layer）源码分析
本文分析了vLLM框架的服务接口层(API Layer)实现，主要包括： 多协议API支持：通过FastAPI实现OpenAI兼容API（/v1/chat/completions等端点），同时支持Anthropic协议和gRPC接口 模块化架构： 动态路由注册机制，按需加载功能端点 核心功能包括聊天补全、文本补全、嵌入等 支持批处理、SageMaker集成等扩展场景 关键实现： 基于FastAPI构建HTTP服务，支持流式响应(SSE) 提供CLI命令行和高级LLM API两种使用方式 包含SSL/TLS支
2026-07-04 16:01:57
147
原创 14-vLLM LoRA 适配器系统深度解析
LoRA（Low-Rank Adaptation）是一种参数高效微调方法，其核心思想是将全量微调的大矩阵更新ΔW\Delta WΔWΔWB×A其中A∈Rr×kB∈Rd×r\Delta W = B \times A \quad \text{其中 } A \in \mathbb{R}^{r \times k}, \;ΔWB×A其中A∈Rr×kB∈Rd×rAAA(lora_a): 降维投影矩阵，将输入从kkk维投影到rrr。
2026-07-04 16:01:22
157
原创 13-vLLM 分布式计算分析
位置适用条件检查链# 1. 必须有自定义 AR 库# 2. 不能挂在 NCCL 组上# 3. 所有 rank 必须在同一节点# 4. world_size 必须在支持列表中return# 5. 检查硬件全连接 (NVLink / XGMI)return# 6. 测试实际 P2P 可达性return# 分配 IPC 共享缓冲区大小限制},},},P2P 可达性验证"""通过真实 IPC 内存读写验证 P2P 可达性"""
2026-07-04 16:00:46
178
原创 12-vLLM 量化方案全面分析
vLLM 量化方案架构分析摘要： vLLM 提供了一套完整的量化技术栈，支持从配置层到 CUDA 内核的全链路量化方案。其量化矩阵覆盖 FP8、INT8/INT4、GPTQ/AWQ、GGUF、NVFP4、MXFP4/8、Marlin 和 Machete 等多种方案，支持在线和离线量化。系统采用分层架构设计，包含配置层（QuantizationConfig）、方法层（QuantizeMethodBase）、内核选择层（LinearKernel）和 CUDA 内核实现层，支持不同精度和硬件平台的优化。特别针对新
2026-07-04 16:00:02
217
原创 11-vLLM 多模态处理管线分析
本文档深入分析vLLM的采样与生成机制，涵盖从参数配置到token生成的完整流程。核心内容包括： 采样参数详解：包括温度(temperature)、top_p/top_k、惩罚机制(presence/frequency/repetition penalty)等参数的默认值及其作用原理。 参数控制机制：分析停止序列(stop sequences)、最大/最小token数(max_tokens/min_tokens)以及EOS处理(ignore_eos)等文本生成控制参数。 高级采样策略：介绍拒绝采样(Reje
2026-07-04 15:59:11
197
原创 10-vLLM-采样与生成策略分析
源码位置: sampling_params.py L168-174dict=True,):源码文件源码@dataclassdraft_token_ids: torch.Tensor # [num_tokens] - 所有 draft token IDsnum_draft_tokens: list[int] # [batch_size] - 每个 request 的 draft token 数。
2026-07-04 15:58:22
288
原创 09-vLLM KV Cache 系统完整分析
本文系统分析了vLLM V1架构下的KV Cache全栈实现，主要内容包括： KV Cache管理层次结构 KVCacheManager作为顶层抽象与调度器交互 SingleTypeKVCacheManager作为单类型基类 多种具体管理器实现（FullAttention/SlidingWindow等） 多GPU协调机制 通过KVCacheCoordinator实现跨GPU缓存协调 支持单Group、混合模型等多种协调模式 扩展功能 CPU卸载（KV Offload） 跨节点传输（KV Transfer）
2026-07-04 15:57:21
204
原创 2026年07月03日全球AI前沿动态
全球AI动态速览（2026.7.1-7.3） 技术突破 大模型竞赛升级：Meta筹建云算力业务"Meta Compute"，美团发布国产万亿参数模型LongCat-2.0，月之暗面2.5万亿参数Kimi K3即将发布 多模态创新：谷歌推出图像/视频生成模型串联方案，NVIDIA开源双塔扩散语言模型，云上曲率语音模型登顶国际评测 垂直领域应用：气象、文旅、工业等领域涌现专业大模型，如矿山智驾模型和充电行业智能体 商业落地 算力争夺白热化：Meta入局云算力市场引发行业震荡，美团实现万亿模型全链路国产化 智能体
2026-07-03 01:21:43
5017
原创 08-vLLM Worker 与执行框架分析
"""[第 37-46 行](file:///workspace/vllm/v1/executor/abstract.py#L37-L46)：定义类级别属性标识是否使用 Ray 以及是否支持 Pipeline Parallelism。[第 94-112 行](file:///workspace/vllm/v1/executor/abstract.py#L94-L112)：存储完整配置并调用子类实现的。"""self,rank: int,) -> None:# ... 存储所有配置子项。
2026-07-03 01:16:51
203
原创 07-vllm-模型执行器层（Model Executor）全貌分析
本文分析了vLLM框架中的模型执行器层(Model Executor)的整体架构和核心机制。主要内容包括： 模型注册表机制： 采用字典映射+懒加载模式，通过_VLLM_MODELS超级字典管理200+模型 使用LazyRegisteredModel实现按需加载，避免启动时触发CUDA初始化 包含子进程inspect机制解决CUDA初始化与fork的冲突问题 支持的模型架构全景： 涵盖文本生成、嵌入、多模态等多种模型类型 支持LLaMA系列、DeepSeek、Qwen、Mistral等主流架构 包含MoE专家
2026-07-03 01:16:02
225
原创 08_DeepSpec-DSpark-实验复现_论文对照与流程详解
本篇是用户特别强调"要详细、要单独成节"的实验文档，按 DSpark 论文 Section 4–5 全面对照。前序已讲清代码实现，本篇回答"如何用这套代码复现论文实验"。共 8 节，每节配 Mermaid 流程图与文字说明，含完整命令矩阵、文件清单与踩坑清单。
2026-07-01 15:48:25
34
原创 07_评测系统_拒绝采样与校准
target_layer_ids 不能包含 target 模型最后一层。原因：transformers 的存的是归一化后的 final hidden（即），而 target cache 存的是 raw decoder output。如果包含最后一层，eval 时取到的 hidden 与 cache 中的不一致，会导致 draft 输入分布偏移、acceptance rate 大幅下降。
2026-07-01 15:47:52
95
原创 06-vLLM 注意力后端实现详细分析
文件位置关键能力方法返回值说明≥ sm_80需要 Ampere+ GPU8 整除且 ≤256 (FA4≤512)头维度约束FP8 需要特定支持FA3 且支持 sinksTrue支持非因果注意力文件位置"fp8", "fp8_e4m3", "fp8_e5m2", # 扩展的 FP8 支持"nvfp4", # NVFP4 量化支持独特优势原生支持NVFP4量化（4-bit 量化）内置TRT-LLMkernel 集成（Blackwell SM100）高效的Page-level注意力操作。
2026-07-01 01:38:52
200
原创 05-vllm-PagedAttention 核心创新深度分析
文章摘要（148字）： PagedAttention是vLLM框架的核心创新，通过借鉴操作系统分页机制，将KV Cache划分为固定大小的Block（默认16 tokens）进行管理。该技术解决了传统KV Cache内存利用率低（常<50%）的三大痛点：1）固定分配导致内部碎片；2）外部碎片造成内存浪费；3）无法共享相同前缀。采用逻辑-物理映射的BlockTable和全局内存池设计，实现2-4倍内存节省，支持Copy-on-Write共享和自动前缀缓存。实验显示内存利用率提升至90%以上，尤其适合长序列和高
2026-07-01 01:38:08
98
原创 04-vLLM 调度系统深度分析
本文深入分析了vLLM v1架构中的调度系统，重点剖析了Scheduler类的核心逻辑、调度算法和实现细节。调度系统采用统一处理机制，不区分prefill和decode阶段，通过管理请求的已计算token数和目标token数来实现高效调度。关键组件包括等待队列、运行列表、跳过队列和完成集合，核心方法schedule()通过四个阶段完成请求调度：处理运行中请求、调度等待请求、KV缓存块分配和构建输出结果。系统支持连续批处理、抢占式调度等高级特性，并通过token预算机制实现资源控制。
2026-07-01 01:37:16
78
原创 03-vLLM 引擎核心（Engine Core）深度分析
本文档深入分析vLLM V1引擎层的核心架构实现。vLLM引擎层作为系统中枢神经，协调调度器、执行器、输入预处理器和输出后处理器等关键组件，处理从请求到响应的完整数据流。 主要内容包括： 同步引擎LLMEngine的实现细节，包括初始化流程和核心方法 AsyncLLM异步引擎架构设计及输出处理机制 EngineCore执行循环的解耦实现，包含调度-执行核心循环 输入预处理(InputProcessor)和输出后处理(OutputProcessor)模块 异步反Tokenization和多节点协调等辅助组件
2026-07-01 01:36:29
257
原创 00-vLLM 源码结构分析 — 总览导航
vLLM 是一个高性能、内存高效的LLM推理引擎，采用六层架构设计，核心创新在于PagedAttention和Continuous Batching技术。架构包括：服务层（API接口）、引擎层（请求处理）、调度核心（动态批处理）、执行器层（并行计算）、模型执行器（GPU/CPU运算）和内核层（定制化算子）。支持200+模型架构，具备多模态、LoRA适配等企业级特性，已成为LLM推理领域的事实标准之一。
2026-07-01 01:33:35
360
原创 02-vLLM 配置系统 (Config System) 深度分析
vLLM配置系统采用层级化聚合设计，以VllmConfig为核心容器统一管理20+子配置域。该系统具有以下特点： 架构设计 采用"上帝对象"聚合模式，实现单点配置传递 支持跨域约束检查和统一的哈希一致性验证 包含模型架构、并行策略、调度管理、设备检测等关键模块 核心组件 ModelConfig：管理模型架构和数据类型 CacheConfig：KV缓存管理 ParallelConfig：处理TP/PP/DP并行度 SchedulerConfig：调度策略配置 DeviceConfig：设备检测与选择 特色功能
2026-07-01 01:30:33
306
原创 01-vLLM 架构总览
本文从架构层面深度分析了vLLM的源码实现，采用六层分层架构进行解析： 服务层：提供OpenAI/Anthropic兼容API、嵌入和批处理服务接口 引擎层：核心组件LLMEngine和EngineCore负责输入输出处理、调度执行流水线 调度核心层：实现FCFS+连续batching调度算法，管理KV Cache分配 执行器层：提供单进程/多进程/Ray分布式三种执行模式 模型执行层：支持150+模型架构和多种量化后端 内核层：基于CUDA的高性能算子实现 文档还展示了各层间的数据流关系，重点分析了引擎层
2026-07-01 01:27:24
204
原创 2026年06月30日全球AI前沿动态
2026年6月末全球AI产业持续高速迭代：大模型侧旗舰产品分层竞争加剧，推理效率优化成为技术核心方向，开源与国产模型竞争力快速提升；智能体加速渗透编程、办公、创作等场景，同时token成本浪费、安全治理等问题逐步凸显；具身智能与机器人进入规模化落地初期，算力基建上游保持高景气，产业监管与伦理规范同步完善，AI向传统行业渗透的深度与效率成为长期增长关键。1.1 通用大模型(大语言模型与多模态模型)二、 智能体与AI应用。八、行业观点与社会影响。1.3 专项技术突破。三、物理AI/机器人。
2026-07-01 01:24:23
464
原创 05_DeepSpec-DSpark-数据管道_TargetCache与对话模板
本文介绍了DeepSpec训练中的关键数据管道技术——TargetCache与对话模板处理。数据生成流程分为三步：首先下载并标准化开源数据集，其次使用sglang服务重新生成回答以保证数据一致性，最后通过target模型的forward hook机制预计算多层hidden states并缓存至磁盘（约38TB）。核心创新在于将target模型的中间状态预存为缓存，大幅降低训练时的计算开销。文章详细解析了数据预处理、多服务器负载均衡、异步缓存写入等关键技术实现，并展示了完整的流程图与代码结构。这种数据管道设计
2026-06-30 05:45:00
66
apache-maven-3.3.9-bin.tar.gz
2017-09-16
apache-flume-1.7.0-bin.tar.gz
2017-09-23
hbase-1.3.1-src.tar.gz
2017-09-16
tensorflow-0.12.1-cp35-cp35m-win_amd64
2017-02-22
presto-cli-0.184-executable.jar
2017-09-24
zookeeper-3.4.9.tar.gz
2017-09-15
sighan-bakeoff
2018-08-16
crf++_0.58[linux and win]
2018-01-14
zh_msra_onto4_mrc4ner.zip
2021-03-02
en_core_web_sm
2020-05-25
fasttext.zip[windows]
2017-11-19
SemEval2010_task8_all_data
2020-05-25
Twisted系列教程等
2017-12-05
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人