- 博客(8)
- 收藏
- 关注
RSS订阅原创 大模型四大并行策略 DP / TP / PP / EP 完全指南：从原理到选型（图解 + 避坑清单）
DP 切数据、TP 切矩阵、PP 切层、EP 切专家——四种并行不是四选一，而是四个旋钮。把通信最密集的切法放在最快的互联上，把通信最稀疏的切法放在最慢的互联上。剩下的所有工程细节，都是在为这句话服务。如果这篇文章帮你理清了这四个概念，欢迎，也欢迎在评论区聊聊你踩过的并行策略的坑。相关推荐阅读Megatron-LM 论文（TP 的原始设计）ZeRO / FSDP（DP 的显存优化）DeepSeek-V3 Technical Report（PP + EP + DualPipe 的大规模实践）
2026-10-27 17:59:01
93
原创 KV Cache 显存到底怎么算？90% 的人漏算了这个变量
本文从一次真实的 OOM 事故出发，拆解 KV Cache 显存估算中最常见的错误——把注意力头总数当成 K/V 头数来算。文章给出修正后的逐 token 计算公式，并用主流模型对照表和真机实测数据验证，最后总结私有化部署显存估算的三件套。
2026-10-15 10:53:38
248
原创 同样 4 张卡，有人跑 1400 tok/s，有人只有 600 —— 无 NVLink 多卡部署的 6 条硬结论
国内多卡推理大多没有 NVLink，但主流推理框架的默认配置都是按 NVLink 集群写的。同样 4 张卡，配置不同，吞吐能差 2.4 倍。本文给出 6 条有实测支撑的结论：TP 的边界是 PCIe Switch 而不是显卡数量、推测解码的 draft 从 3 加到 7 反而慢 21.7%、MoE 量化要先保护路由层。每条结论都标注来源和适用条件。
2026-10-13 13:45:00
273
原创 你的 prompt 在云端是明文——机密 AI 推理是怎么解决这个问题的
本文拆解 TEE 机密推理的完整链路——证明报告与信任锚、传输层的三种密钥绑定、以及如何把「运行时加载的模型权重」绑进启动期证明，最后给出四家方案的技术路线对比与五个落地坑
2026-10-12 12:40:45
348
原创 我把删除工具交给了国产大模型：Agent 的安全防线不该写在提示词里
本文通过一个真实开源项目 aiops-agent（Qwen2.5-7B + BGE + FAISS 搭建的运维 Agent）的代码审计与实测，揭示一个关键结论：把「不能执行删除、必须请求确认」写进提示词，并不是真正的安全防线。真正的权限边界在于工具注册列表 AVAILABLE_TOOLS，而 RAG 检索的知识库内容会原样拼入提示词，构成一条从「可写知识库文件」到「调用危险工具」的完整攻击链。文中所有结论均对应仓库真实代码行，并附可复现的实测方式。
2026-10-10 16:00:00
285
原创 大模型私有化交付：显存估算与压测的三个致命陷阱
私有化交付大模型最容易算错的三件事：显存少算了 KV Cache、TTFT 口径各说各话、只看吞吐不看饱和点。附显存估算算例与一组可复现的真机压测数据。
2026-10-09 17:01:19
306
原创 LLM 推理压测里最容易写错的 5 件事（附开源工具）
这也是我做报告时的一条原则：只陈述可验证的事实，比如「awq 峰值 1874.1 tokens/s，比最优低 2.0%」，而不是写「awq 性能优异，是部署首选」——后者是价值判断，不是数据。这个坑很隐蔽，因为量级上看不出问题（差一个 token 而已），但当你拿 TPOT 去对比不同量化配置的优劣时，这个偏差会污染结论。前面讲了 5 个容易写错的指标口径，下面用一个完整的实战示例，演示如何用 llm-inference-bench 在 mock 引擎上跑压测、生成报告，并读取报告里的关键指标。
2026-10-08 14:09:53
455
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人