谢白羽-CSDN博客

原创模型部署实践（TTS\LLM\VLM\CV等多模态模型部署）

本文汇总了多项AI模型部署与优化技术，涵盖语音合成（IndexTTS 2.5、NemotronLabs VoiceChat 11B、MOSS TTS）、大模型推理（DeepSeekV4 Flash/Pro）、计算机视觉（YOLOv8剪枝与Triton部署）及图像生成（Stable Diffusion量化部署），结合vLLM-Omni、TensorRT、Triton等工具实现高效推理，全面解析模型压缩、加速与生产级部署方案。

2026-09-09 16:42:57 67

原创 ai推理工程的一些思考笔记

SGLang的P/D分离解决延迟抖动问题 Decode阶段延迟抖动主要由Prefill和Decode共享GPU资源导致：资源抢占：Prefill计算密集，长prompt会阻塞Decode请求； Batch动态变化：批处理大小和形状波动引发执行时间不稳定；请求长度差异：长Prefill造成排队拥塞（head-of-line blocking）；显存压力：Prefill突增KV Cache导致显存碎片或重新调度； Decode敏感性：Decode单步延迟低，微小干扰也会显著影响响应时间。 P/D分离通过隔

2026-08-17 14:18:02 318

原创从传统运维到 AI Infra: K8s 上调度 100 张 GPU踩坑笔记

本文揭示了在K8s上部署大模型时的六大核心坑点：显卡资源整卡锁定导致利用率仅15%、默认调度引发死锁、存储与网络风暴、硬件故障难察觉、Nginx缓冲导致卡顿，以及传统运维思维的局限。通过引入算力切分（vGPU/MIG）、Gang Scheduling、JuiceFS缓存、RoCE无损网络、DCGM+NPD自愈机制及生产级Nginx配置，实现算力利用率提升至75%以上，系统稳定性与用户体验显著改善。最终呼吁运维人员从“服务管理”转向“智能基础设施构建”，完成二次跃迁。

2026-10-27 15:10:12 263

原创在A100基于unningHub 加速流程部署MiniMax-H3制作高清 CG

在4×A100上，通过SGLang结合Turbo LoRA、SageAttention2与Cache-DiT加速，5秒视频生成时间从251.9秒降至24.35秒中位数；《墨境》选角CG采用MiniMax-H3生成768P镜头，经SeedVR2-3B超分至1080P，实现高效高质量产出。

2026-10-27 11:42:21 241

原创 TensorRT-LLM（强绑NVIDIA）笔记：架构、性能优化、部署方式与适用场景

TensorRT-LLM 是 NVIDIA 面向大模型推理的开源加速库，专为 NVIDIA GPU 优化，实现低延迟、高吞吐与低显存占用。它通过 In-Flight Batching、Paged KV Cache、Chunked Prefill 等技术，动态调度请求并高效管理资源，支持单机多卡及分布式部署。结合量化（FP8/FP4）、MoE 并行与投机解码，显著提升推理性能。其核心架构涵盖 Scheduler、ModelEngine 与 Sampler，提供 Python API 与 OpenAI 兼容服务

2026-10-09 17:04:12 462

原创对比DP8+EP与TP8在DS MoE部署性能

本文对比了DP8+EP与TP8部署方式在MoE Transformer中的性能差异。DP8+EP因无需Attention层跨卡通信、保留完整专家矩阵及显著降低KV Cache占用，在高并发下展现更高吞吐与更低延迟，尤其适用于DeepSeek类模型。实验表明，当并发达64及以上时，DP8+TP1方案吞吐提升26.54%，平均延迟下降约20%；而低并发场景下，DP1+TP8更优。结论：高并发场景推荐DP8+EP，低延迟需求可选DP1+TP8。

2026-09-28 12:12:03 336

原创 Qwen-Image-2.1：L20部署SGLang 与 vLLM-Omni 实测

在单张NVIDIA L20 48GB上部署Qwen-Image-2.1 BF16模型，对比SGLang Diffusion与vLLM-Omni的推理性能。结果表明，SGLang在1024×1024分辨率下吞吐高出15.4%（C1），并发下稳定性更优；vLLM-Omni默认配置无法支持多数2K画幅，启用VAE Tiling后可成功生成全部7种尺寸，但延迟更高。图片编辑测试显示，SGLang可处理10图输入（最终因显存溢出失败），而vLLM-Omni接口限制最多4图。总体而言，SGLang在吞吐、兼容性与资源利

2026-09-24 19:36:45 529

原创 indextt2.5测评

本文基于vLLM-Omni 0.28.0实现IndexTTS-2.5两阶段部署，通过四份配置（default、low_latency、dual_mem04、single_card）对比显存、并发与延迟性能。核心优化包括：stage0启用FLASHINFER注意力、关闭异步调度、开启CUDA Graph；stage1减少扩散步数至12、启用BigVGAN与DiT CUDA Graph，但关闭torch.compile以降低内存开销。实测显示，low_latency在高并发下QPS提升33.9%，但单请求延迟略

2026-09-24 15:54:12 452

原创 GuideLLM 压测工具笔记

GuideLLM 是 vLLM 官方开源的大模型推理压测工具，支持 OpenAI 兼容后端，可实现并发扫描、稳态验证与饱和点识别。通过 sweep 和 fixed 两种模式，结合泊松或恒定流量，输出 CSV、JSON、HTML、PNG 多格式报告，全面评估 TTFT、TPOT、RPS 及分位延迟等指标。关键参数需确保 Tokenizer 一致，避免统计失真。推荐先用 sweep 探测系统拐点，再以 fixed 验证性能，高效支撑模型服务容量规划与 SLA 保障。

2026-09-21 12:11:50 413

原创在4×B300用SGLang部署DeepSeek-V4.1 Flash优化实录

SGLang团队完成DeepSeek-V4.1的Day 0适配与Kernel优化，在4×B300、TP4/EP4配置下，结合DSpark实现：BS=1达764 tokens/s，BS=64达13,473 tokens/s。通过架构革新（如CED、KV压缩）、FP8 GEMM优化、小算子融合、mHC重叠及DSpark适配，显著提升吞吐。最终借助CUDA Graph进一步降低延迟，性能持续迭代中。

2026-09-16 19:35:56 368

原创 MiniMax-H3 : 4卡 H20-3e一套权重部署实践/8卡H200部署优化实测

本文对MiniMax H3音视频生成系统本地Base链路进行15类配置测试，涵盖文本、首尾帧、多模态参考输入等场景，验证110个有效样本。基于四张H20-3e GPU，分别在SGLang与vLLM-Omni运行时下完成实验，修复音频上下文缺失及错误传递问题，确保输出完整性与一致性。测试限于768p本地生成，不包含完整系统中的上下文处理与2K重生成模块，结果为工程验收数据，不可直接用于无干扰性能对比。

2026-09-15 15:36:09 562

原创 GLM-5.3/GLM-5.3-Flash 部署实践（包含双推理引擎对比8xH200）

GLM-5.3-Flash（4×H20）与GLM-5.3（8×H20）部署对比显示，显存容量与拓扑配置直接影响模型支持的上下文长度与并发能力。单机部署Atlas 800 A2（8×昇腾910B3）需关注显存、P2P/NCCL及软件栈适配。关键问题在于：39B激活参数≠仅需39B显存；需结合业务场景（如128K/256K/1M上下文）、并发量、负载类型（Chat/Coding/RAG）和性能指标（TTFT、吞吐）综合选型。vLLM与SGLang应通过实际请求做A/B测试，而非预设偏好。

2026-09-09 17:22:03 1444 2

原创 LLM主流模型结构演变（Llama、Qwen、GLM、Deepseek...）

本文对比了2023年Llama与最新GLM5.2的结构差异，指出主要变化是采用DSA+MLA减少KV Cache、引入MoE提升效率。文章详解tokenizer、归一化、注意力模块等组件，强调模型结构改进聚焦于在可接受成本下持续放大模型能力。

2026-09-01 19:37:45 530

原创 SGLang的AWQ量化笔记

<think>我们根据内容生成摘要。摘要需要≤150字，覆盖AWQ的两个阶段、SGLang运行时路径、配置类、普通AWQ与Marlin路径对比等核心内容。简洁凝练。</think>AWQ生命周期分离线量化与SGLang运行时推理两阶段。离线阶段完成激活统计、显著通道识别、缩放搜索与INT4量化打包。SGLang运行时支持普通AWQ（反量化+矩阵乘法）与AWQ Marlin（加载时重排、前向直接INT4 GEMM）两条路径，后者性能更优。配置层由AWQConfig、AWQMarlinConfig等类实现，自动

2026-09-01 19:21:08 386

原创 SGLang模型加载过程笔记

DP Controller 根据轮询、当前请求数或 Token 数，把每个请求交给负载较低的模型副本。1.如果dp_size大于1。2.如果dp_size大于1。

2026-08-27 19:37:06 267

原创 SGLang前缀缓存

在 SGLang 的 Prefix Cache 中，Radix Tree 维护的是 token 前缀到 KV cache 槽位索引的映射。因为 Radix Tree 的内部节点通常对应多个请求共享的公共前缀，而叶子节点往往对应某条请求独有的尾部。由于底层 KV cache 通常按 page 管理，prefix cache 的可复用长度会按 page size 对齐。也就是说，缓存命中关注的是最长公共前缀，并以 KV cache 的分页粒度进行管理。Radix Cache 的淘汰从可淘汰叶节点开始。

2026-08-26 19:36:43 456

原创 SGLang后端架构流程图

文章梳理了 SGLang 从请求进入到结果返回的完整推理链路：TokenizerManager 负责预处理和请求匹配，Scheduler 负责排队、组批及 KV Cache 管理，TpModelWorker 与 ModelRunner 完成模型前向、采样和 Attention 加速，最后由 DetokenizerManager 将 Token ID 转为文本并返回客户端。

2026-08-26 16:48:22 574

原创 Mooncake在LLM的kv cache offload

核心概念一句话总结mmapDRAM 分配方式，支持跨进程零拷贝共享和大页GPU D2H 的叉车队，页锁定内存池化复用，带宽提升约 10–100 倍io_uringO_DIRECTSSD 读写的高速传送带，绕过页缓存，批量提交/完成远程 SSD 的直达专线，绕过内核，RDMA 直连让 DRAM 可被 RDMA 访问，注册到网卡获取“门牌号”多硬件适配层，一套代码支持 NVIDIA / AMD / 昇腾 / 摩尔线程建议。

2026-08-21 19:33:40 449

原创 vLLM-Omni 部署 IndexTTS 2.5

本文介绍了使用vLLM-Omni部署IndexTTS 2.5语音合成系统的详细流程。IndexTTS 2.5采用两阶段架构：第一阶段通过自回归模型生成语义编码，第二阶段通过扩散模型和GAN声码器合成音频。部署环境基于Ubuntu系统，使用Python 3.12、vLLM 0.27.0及其扩展vLLM-Omni 0.27.0。文章详细说明了Python环境配置、源码安装、模型下载（包括主模型IndexTTS-2.5及依赖组件CAMPPlus、Wav2Vec2-BERT和BigVGAN）的完整步骤，并提供了环境

2026-08-20 20:19:32 409

原创 NVIDIA工作站卡：RTX A系列的坑

很多团队看到RTX 6000 Ada有366 TFLOPS FP16、48GB显存、只要8.5万，比15万的L40S便宜43%，于是想用它搭推理集群。结果上线三个月，发现8卡训练扩展效率只有42%、连续跑48小时吞吐掉15%、机箱第4张卡温度冲到93度触发降频。工作站卡的问题从来不在纸面算力，而在互联、散热、授权这三件不写在规格表首页的事。本文拆解RTX A系列的真实定位：它是开发机的最优解，也是生产环境的次优解。

2026-08-20 16:49:02 277

原创 NVIDIA的AI全产品线图、H、A、L系列卡讲解

本文全面解析英伟达AI产品线布局及架构演进，重点分析Hopper架构H100系列六大产品。内容涵盖：架构演进：从Ampere到Blackwell五代架构，推理成本降至1/10 产品矩阵：HBM训练旗舰/H200推理卡/Grace超级芯片/工作站GPU四大类 H100系列深度对比：包括SXM/PCIe/NVL/H800特供版/H20阉割版等型号差异关键技术：FP8精度、Transformer引擎、HBM3显存、NVLink 4.0 选型指南：提供不同规模AI训练/推理场景的配置建议与性价比分析特别指出H

2026-08-19 20:24:25 722

原创大模型并行推理架构笔记

摘要：大模型推理面临显存和计算瓶颈，需通过并行策略优化。核心方法分为两类：模型并行（TP、PP、EP）和请求并行（批处理优化）。TP按层内切分降低单请求延迟，PP跨层切分减少通信量，EP专用于MoE模型。连续批处理和PagedAttention提升吞吐效率。进阶策略包括PD分离（Prefill与Decode阶段解耦）、序列并行（长上下文优化）和投机解码（小模型加速生成）。近两年进展聚焦分离式架构（如AF分离）和硬件超节点（如GB200 NVL72），以更高粒度切分计算与带宽负载。选型需权衡规模、延迟需求与

2026-08-19 16:54:16 572

原创 DeepSeekV4 Flash与Pro模型部署

本文围绕 DeepSeek-V4 系列模型的 vLLM 推理与部署展开，首先对不同版本的模型配置进行比较，并结合 config.json、模型目录、核心类与函数，梳理模型加载和推理执行流程；随后分别介绍 DeepSeek-V4-Flash-0731 与 DeepSeek-V4-Pro-0831 的模型特性、权重获取、推理模式及部署参数，提供涵盖 GB300、DGX Station、RTX PRO 6000、MI325X、MI355X 和 H200 等硬件的多种部署方案，并重点分析基于 Mooncake 与

2026-08-17 20:30:33 693

原创 NVIDIA NemotronLabs VoiceChat 11B 模型部署

NVIDIA NemotronLabs VoiceChat 11B 是一款支持实时全双工对话的端到端语音模型，具有11B参数，整合了语音识别、文本生成和语音合成功能。它采用混合Mamba/Transformer架构，支持工具调用和自然话轮切换，响应延迟约450ms。该模型基于55万小时语音和文本数据训练，兼容NVIDIA多款GPU，在VoiceBench中排名第二。适用于研究人员和开发者，需遵循OpenMDW 1.1许可证。

2026-08-12 15:48:20 560

原创 GAM：用分层图记忆解决 Agent 的“快记”和“稳记”冲突

GAM 的核心贡献是把 Agent 记忆从“持续追加的一条流”改造成“先局部缓冲、再语义合并、最后图引导检索”的生命周期系统。它让 Agent 在当前对话中保持灵活，同时让长期记忆免受临时噪声污染。不要让每一条新信息直接改写长期记忆，先判断它是否已经成为一个语义完整、值得巩固的记忆单元。

2026-07-03 16:00:14 328

原创 # Are We Ready For An Agent-Native Memory System?：Agent 记忆系统还没到“原生”阶段

这篇论文从数据管理视角系统评估 Agent memory，结论是没有一种架构通吃，真正可靠的长期记忆必须按 workload 设计表示、写入、检索和维护策略。：2026-06：Agent memory、长期对话系统、个人助手、RAG 平台、知识图谱记忆和生产级 Agent 基础设施建设者。

2026-07-03 15:25:14 230 2

原创 gptsovit tensorRT推理加速笔记

模型放在/root/autodl-tmp，I/O读取会快，项目放在根目录，需要创建软连接，还要创建onnx导出目录。由于基模不能导出为onnx模型，补充下载模型文件。下载速度慢，换成modelscope国内源。

2026-06-26 20:54:46 373

原创 STALE：长期记忆最危险的不是忘记，而是还相信过期事实

论文提出的核心概念叫。隐式冲突指的是：后来的观察让早期记忆失效，但没有用显式语言否定它。旧记忆：用户每天骑车通勤。新观察：用户昨天打篮球摔断了腿。后续问题：这周怎么安排通勤？新观察没有说“我不再骑车通勤”。但一个可靠助手应该知道，腿伤会影响短期骑车通勤建议。普通 RAG 很容易失败。因为用户问“通勤”，系统可能召回“每天骑车通勤”这条旧记忆；而“腿伤”这条新观察和“通勤”语义相似度不高，可能没被优先召回。即使召回了，模型也可能把它当成一个普通片段，而不是当前状态的裁决依据。

2026-06-22 19:31:45 394

原创 agent memory论文项目十：MRAgent

摘要： MRAgent提出了一种基于主动重构的长期记忆访问机制，突破传统静态检索的局限。其核心是Cue-Tag-Content图结构，通过LLM驱动的多步遍历实现动态记忆重构：Tag层作为语义路标引导搜索方向，多粒度记忆层（Episodic/Semantic/Topic）平衡细节与效率。实验显示，该方法在长对话任务中显著提升效果（LoCoMo任务提升23.3%），且减少token消耗。相比GBrain等图记忆系统，MRAgent将图转化为推理过程中的交互式搜索空间，强调"记忆是重构而非取回"的理念，为Age

2026-06-22 19:08:37 303 1

原创 MemEvolve：当 Agent 不只积累记忆，还开始进化自己的记忆系统

摘要：MemEvolve提出了一种新型Agent记忆系统，突破传统固定架构限制，使记忆系统能够自我进化。它将记忆架构拆分为四个可进化模块（编码、存储、检索、管理），通过双循环机制实现内容与架构的共同优化。内循环积累任务经验，外循环基于任务表现评估并改进记忆架构。该方法采用模块化设计，将记忆架构视为可修改的基因型，并通过帕累托优化平衡性能与成本。MemEvolve标志着Agent从单纯积累经验迈向自主优化记忆机制的新阶段，为长期任务代理提供了更强大的自适应能力。

2026-06-05 22:10:57 409 1

原创 SimpleMem：长期记忆不是存得更多，而是让每个 token 更有信息密度

SimpleMem 的主要存储引擎是 LanceDB。官方文档里有配置，默认类似；也允许通过db_path指定数据库目录。LanceDB 的优势是同时适合列式存储和向量检索。SimpleMem 的 MemoryEntry 既有文本字段，又有 metadata 字段，还有 vector 字段，用传统纯向量库会不够灵活，用普通关系数据库又不方便做 dense vector search。LanceDB 正好可以把这些字段放在同一个表里。初始化时会连接 LanceDB，并创建或打开 memory table。

2026-06-05 21:53:18 508

原创 TierMem 论文解读：让 Agent Memory 在便宜摘要和可信证据之间动态切换

TierMem：动态切换摘要与原始日志的智能记忆系统本文介绍了一种名为TierMem的新型Agent记忆系统，通过分层存储解决了长期记忆中的成本与可信度平衡问题。系统将记忆分为两层：低成本但有损的摘要层（summary tier）和高成本但可信的原始日志层（raw log tier）。其核心创新在于推理时动态选择证据源：先用摘要快速响应，当检测到证据不足时自动升级查询原始日志，并将验证后的新结论写回摘要层。这种"先摘要后证据"（summary-first retrieval）和"验证回写"（verifie

2026-06-03 12:15:10 381

原创 ProcMEM：让 Agent 把经历沉淀成可复用技能

本文介绍了ProcMEM技术，旨在帮助AI Agent将任务经历转化为可复用的程序性记忆技能，而非单纯记忆历史事实。核心思想是通过提取经验中的模式，形成包含激活条件、执行逻辑和终止条件的三段式技能结构，并利用Non-Parametric PPO算法在外部维护可更新的技能库。相比传统RAG记忆，ProcMEM更注重将成功经验转化为可执行流程，适用于编码Agent、自动化工作流等场景。文章还讨论了该技术的潜在风险（如技能抽象错误、过期问题）及轻量化落地建议，强调程序性记忆应作为可验证的外部资产进行管理。相关资源

2026-06-01 15:56:36 312

空空如也

空空如也