DeepSeek 推理效率优化探讨 meetup 议题征集

当开源创新遇上推理革命发生了一系列化学反应，DeepSeek 通过开源高性能模型及配套工具链（如 Flash MLA、DeepEP 等），为开发者社区提供了创新实践。同时，社区中的各种开源项目，如推理引擎也吸收了这些开源创新成果，为整个行业应用 DeepSeek 模型，提升推理效率提供了新动能。这种双向的技术流动，使得模型研发与工程落地形成了正向循环。

在推理引擎层，自 DeepSeek R1 和 V3 发布以来，SGLang 通过多项关键技术突破成为其最强开源推理引擎；与此同时，vLLM 专注于大规模语言模型推理优化，通过跨节点专家并行（EP）等技术实现更高吞吐量与更低延迟，而 Triton 则在高性能计算和大规模模型部署领域持续发挥重要作用，共同推动推理引擎技术的演进。另外，DeepSeek 开源的 Flash MLA 通过优化注意力计算流程，支持低精度（FP8）训练和推理，减少内存占用与带宽需求，显著降低算力消耗；DeepEP 框架，支持跨节点的大规模模型推理，显著提升吞吐量和降低延迟，适用于高稀疏性 MoE 模型的推理优化。这些底层技术的开源共享，为推理引擎的持续进化提供了燃料。

在编排调度层， Kubernetes 作为公认 的 AI 算力调度的事实标准，在弹性伸缩、资源管理、多云支持方面提供关键能力，实现对加速硬件的统一管理，将异构算力抽象为可调度的资源池，并提供动态扩缩容能力，应对 AI 负载的突发性。Volcano 项目通过资源优化和任务编排，帮助大模型推理服务实现高吞吐、低延迟、低成本的稳定运行；Kueue 项目实现 AI 负载队列管理、优先级抢占等策略支持；AIBrix 项目作为首个企业级推理系统，优化推理效率加速大模型服务服务落地；LWS 项目突破性地实现跨界点的推理调度和弹性伸缩，解决分布式推理任务的资源协同困难，多种开源项目能力的相互支撑，都成为 AI 模型效率提升的底层支撑。

如今， 从编排调度到推理引擎，开源技术已形成独特生态效应，这种层层递进、环环相扣的技术栈革新，正在重塑大模型落地的成本曲线。越来越多的开发者可以基于开源社区创新项目，快速实现模型推理成本的降低和响应速度的提升。

为深入探讨模型推理效率优化的前沿技术与实践，「DaoCloud 道客」计划于 2025 年 4 月 12 日在模速空间举办 “DeepSeek 推理效率优化探讨 meetup”，揭秘大模型背后的效率革命 。

现面向行业专家、开发者及技术团队公开征集议题，希望与大家共同展开深度交流与探讨，推动模型推理的创新与落地。

议题征集点击下方链接：

https://www.feishu.cn/share/base/form/shrcnd1OitQfVCXXmut1YZgxPLd?share_link_type=qrcode&ccm_open_type=form_qrcode