Mooncake - LLM 服务（月之暗面）

最新推荐文章于 2025-04-28 17:19:22 发布
最新推荐文章于 2025-04-28 17:19:22 发布
阅读量1.7k 收藏 12
点赞数 17
分类专栏： # AI 开源项目 文章标签： mooncake 月之暗面 推理 服务 llm
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lovechris00/article/details/145392719
版权

在这里插入图片描述

一、关于 Mooncake

Mooncake 是 kini的服务平台，是Moonshot AI 提供的 领先的大模型服务。

以KVCache为中心的分解 体系结构，用于LLM服务。

🔄更新

  • 2024年12月16日：vLLM正式支持Mooncake 传输引擎进行分解预填充和KV缓存传输。
  • 2024年11月28日：我们开源了Mooncake 的核心组件Transfer Engine。我们还提供了两个传输引擎演示：P2P商店和vLLM集成。
  • 2024年7月9日：我们将跟踪开源为jsonl文件！。
  • 2024年6月27日：我们展示了一系列关于知乎1、2、3、4的更多讨论的中文博客。
  • 2024年6月26日：初始技术报告发布。

🎉概览

Mooncake 具有以KVCache为中心的分解架构，将预填充和解码集群分开。它还利用GPU集群未充分利用的CPU、DRAM和SSD资源来实现KVCache的分解缓存。

在这里插入图片描述

Mooncake的核心是其以KVCache为中心的调度器，它在满足与延迟相关的服务级别目标（SLO）要求的同时，平衡了最大化整体有效吞吐量。

与假设所有请求都会被处理的传统研究不同，Mooncake 面临着由于高度超载的情况而带来的挑战。为了缓解这些问题，我们开发了一种基于预测的早期拒绝策略。

实验表明，Mooncake 在长上下文场景中表现出色。与基线方法相比，Mooncake 在某些模拟场景中可以实现高达525%的吞吐量增长，同时遵守SLO。

在实际工作负载下，Mooncake的创新架构使Kimi能够处理75%以上的请求。

🧩组件

在这里插入图片描述

  • Mooncake 的底部是传输引擎，它支持通过TCP、RDMA、基于NVIDIA GPUDirect的RDMA和NVMe over Fabric（NVMe-of）协议进行快速、可靠和灵活的数据搬迁。与Gloo（分布式PyTorch使用）和TCP相比，Mooncake 传输引擎具有最低的I/O延迟。
  • 基于Transfer Engine，我们实现了P2P Store库，支持在集群中的节点之间共享临时对象（例如检查点文件）。它避免了单台机器上的带宽饱和。
  • 此外，我们修改了vLLM以集成传输引擎。它利用RDMA设备使预填充解码分解更高效。
  • 未来，我们计划在Transfer Engine的基础上构建Mooncake 店，支持池化KVCache，实现更灵活的P/D分解。

二、🔥案例展示

1、使用独立传输引擎

指南 : https://github.com/kvcache-ai/Mooncake/blob/main/doc/en/transfer-engine.md

传输引擎(Transfer Engine) 是一个高性能的数据搬迁框架。传输引擎提供了一个统一的接口来传输来自DRAM、VRAM或NVMe的数据，同时隐藏了与硬件相关的技术细节。

传输引擎支持TCP、RDMA（InfiniBand/RoCEv2/eRDMA/NVIDIA GPUDirect）和 NVMe over Fabric（NVMe-of）协议。

亮点
  • 高效使用多个RDMA网卡设备。传输引擎支持使用多个RDMA网卡设备来实现传输带宽的聚合。
  • 拓扑感知路径选择。传输引擎可以根据源和目标的位置（NUMA亲和力等）选择最佳设备。
  • 对临时网络错误更健壮。一旦传输失败，Transfer Engine将尝试使用替代路径自动传输数据。
性能

87 GB/s190 GB/s2.4x和4.6x更快

在这里插入图片描述

2、P2P Store

指南 : https://github.com/kvcache-ai/Mooncake/blob/main/doc/en/p2p-store.md

P2P Store已用于Moonshot AI的关卡转移服务。

亮点
  • 去中心化架构。P2P商店利用纯客户端架构，全局元数据由etcd服务管理。
  • 高效的数据分发。P2P Store旨在提高大规模数据分发的效率，通过允许复制节点直接共享数据来避免带宽饱和问题。这降低了数据提供商（例如培训师）的CPU/RDMA网卡压力。
性能

硬件输入带宽

在这里插入图片描述

3、vLLM集成

Guide v0.2 : https://github.com/kvcache-ai/Mooncake/blob/main/doc/en/vllm-integration-v0.2.md

为了优化LLM推理，vLLM社区正在努力支持 分类预填充（PR 10502）。此功能允许在不同过程中将预填充阶段与解码阶段分开。vLLM默认使用“nccl”和“gloo”作为传输层，但目前它无法有效地解耦不同机器中的两个相位。

我们已经实现了vLLM集成，它使用传输引擎作为网络层，而不是“nccl”和“gloo”，以支持节点间KVCache传输（PR 10884）。
传输引擎提供了更简单的接口和更有效的RDMA设备使用。未来，我们计划在Transfer Engine的基础上构建月饼商店，该引擎支持池式预填充/解码分解。

更新[2024年12月16日]：这是最新的vLLM集成（Guide v0.2) 它基于vLLM的主分支。

性能

通过支持拓扑感知路径选择和多卡带宽聚合，带有传输引擎的vLLM的平均TTFT比传统的基于TCP的传输低25%。未来，我们将通过GPUDirect RDMA和零拷贝进一步改进TTFT。

后端/设置输出令牌吞吐量（tok/s）总令牌吞吐量（tok/s）平均TTFT（ms）中值TTFT（ms）P99 TTFT（ms）
传输引擎（RDMA）12.062042.741056.76635.004006.59
TCP12.052041.131414.05766.236035.36
  • 单击此处访问详细的基准测试结果。

更多高级功能即将推出，敬请期待！

三、🚀快速入门

1、准备

为了安装和使用Mooncake ，需要一些准备。

  • RDMA驱动程序和SDK（例如，Mellanox OFED）。
  • Linux-使用gcc、g++（9.4+）和cmake（3.16+）x86_64。
  • Python（3.10或以上）

此外，为了支持月饼传输引擎的更多功能，我们建议您安装以下组件：

  • CUDA 12.1及以上版本，包括NVIDIA GPUDirect存储支持，如果您想使用 -DUSE_CUDA 构建。

    你可以从这里安装：https://developer.nvidia.com/cuda-downloads

    # Adding CUDA to PATH
export PATH=/usr/local/cuda/bin:$PATH
export LD_LIBRARY_PATH=/usr/local/cuda/lib64:$LD_LIBRARY_PATH
export CUDA_PATH=/usr/local/cuda
  • Go 1.20+，如果你想建立-DWITH_P2P_STORE。你可以从这里下载。
  • Rust Toolclain，如果你想用-DWITH_WITH_RUST_EXAMPLE构建。
  • hiredis，如果你想用-DUSE_REDIS构建，这样你就可以使用Redis而不是etcd作为元数据服务器。
  • curl，如果你想用-DUSE_HTTP构建，这样你就可以使用HTTP而不是etcd作为元数据服务器。

2、安装

1、初始化源代码

git clone https://github.com/kvcache-ai/Mooncake.git
cd Mooncake

2、安装依赖项

bash dependencies.sh

3、编译Mooncake 和示例

mkdir build
cd build
cmake .. # (optional) Specify build options like -D
make -j

四、项目发展

🛣️即将到来的里程碑

  • Mooncake 首次发布并与最新的vLLM集成
  • 跨多个服务引擎共享KV缓存
  • 用户和开发者文档

📦开源跟踪

{
    "timestamp": 27482,
    "input_length": 6955,
    "output_length": 52,
    "hash_ids": [46, 47, 48, 49, 50, 51, 52, 53, 54, 55, 56, 57, 2353, 2354]
}
{
    "timestamp": 30535,
    "input_length": 6472,
    "output_length": 26,
    "hash_ids": [46, 47, 48, 49, 50, 51, 52, 53, 54, 55, 56, 57, 2366]
}

上面展示了我们跟踪数据集中的两个样本。跟踪包括请求到达的时间、进审量令牌、输出令牌的数量和重新映射的块哈希。为了保护我们客户的隐私，我们应用了几种机制来删除用户相关信息，同时保留数据集用于模拟评估的效用。跟踪的更多描述（例如，高达50%的缓存命中率）可以在论文第3版的第4节中找到。

2025-01-29（三）

Mooncake：面向大语言模型服务的以 KVCache 为中心的架构
步子哥的博客
07-02 738
Mooncake是 Kimi 的服务平台，Kimi 是由 Moonshot AI 提供的领先的 LLM 服务。它采用以 KVCache 为中心的分解架构，将预填充和解码集群分离。它还利用 GPU 集群未充分利用的 CPU、DRAM 和 SSD 资源来实现 KVCache 的分解缓存。Mooncake的核心是其以 KVCache 为中心的调度器，它在满足延迟相关的服务水平目标 (SLO) 的同时，平衡了最大化整体有效吞吐量。
LLM推理加速3：推理优化总结Mooncake/AttentionStore/vllm0.5/cache优化 etc
weixin_58753619的博客
08-27 1904
ZHANG Mingxing：Mooncake (1): 在月之暗面做月饼，Kimi 以 KVCache 为中心的分离式推理架构KimiChat是由北京月之暗面科技有限公司（MoonshotAI）开发的一款人工智能助手产品，一年不到的时候就开始爆火，能够支持长达200w长文本的处理，让大家十分好奇如何能够做到这么好的模型效果，考虑到相关人员声称推理过程没有用到RAG技术，那么如何优化才能达到这么快的推理速度？？这几天终于有相关技术报告出来。这里简单介绍一下。
Mooncake：LLM服务的KVCache为中心分解架构
yorkhunter的博客
07-01 5785
24年6月AI公司月之暗面的技术报告“Mooncake: A KVCache-centric Disaggregated Architecture for LLM Serving”。
Mooncake：面向大规模语言模型服务的分布式缓存架构
gitblog_00634的博客
03-26 859
Mooncake：面向大规模语言模型服务的分布式缓存架构 Mooncake 项目地址: https://gitcode.com/gh_mirrors/mo/Mooncake ...
月饼(Mooncake)：让单片机开发更优雅的多App生命周期管理框架
gitblog_00615的博客
08-18 587
月饼(Mooncake)：让单片机开发更优雅的多App生命周期管理框架 项目地址:https://gitcode.com/gh_mirrors/moo/mooncake 在单片机的开发世界中，高效、简洁的代码组织方式一直是工程师追求的目标。今天，我们来探索一款专为单片机制定的开源宝藏项目——Mooncake，它旨在通过轻量级的设计，解决多应用程序管理的复杂性问题，让你的单片机项目焕发新生。 项目介...
Kimi悄悄开源了自家推理框架Mooncake~
AIBigModel的博客
12-02 745
Mooncake的核心是其以KVCache为中心的调度器，它在最大化整体有效吞吐量的同时，满足与延迟相关的服务水平目标（SLOs）要求。Mooncake的底层部分是传输引擎（Transfer Engine），它支持通过TCP、RDMA、基于NVIDIA GPUDirect的RDMA以及NVMe over Fabric（NVMe-of）协议进行快速、可靠和灵活的数据传输。未来，计划在传输引擎的基础上构建Mooncake Store，它支持池化的KVCache，以实现更灵活的预填充/解码（P/D）解耦。
一文看懂 Mooncake
最新发布
关于我的学习记录
04-28 762
Kimi与清华大学联合参与的项目论文《Mooncake: Trading More Storage for Less Computation-A KVCache-centric Architecture for Serving LLM Chatbot》获得计算机存储领域顶会。
月之暗面kimi底层推理系统原理
stephen147的博客
07-02 2754
现代大型语言模型（LLMs）基于Transformer架构，该架构利用注意力机制和多层感知器（MLP）来处理输入。基于流行的Transformer模型，例如GPT [10] 和 LLaMA [11]，采用的是仅解码器结构。每个推理请求在逻辑上被划分为两个阶段：预填充阶段和解码阶段。在预填充阶段，所有输入token并行处理。此阶段生成第一个输出token，同时存储计算出的中间结果，这些中间结果被称为KVCache。
极市平台 | 月之暗面kimi底层推理系统方案揭秘
csdn_xmj的博客
07-05 1196
现代大型语言模型（LLMs）基于Transformer架构，该架构利用注意力机制和多层感知器（MLP）来处理输入。基于流行的Transformer模型，例如GPT [10] 和 LLaMA [11]，采用的是仅解码器结构。每个推理请求在逻辑上被划分为两个阶段：预填充阶段和解码阶段。在预填充阶段，所有输入token并行处理。此阶段生成第一个输出token，同时存储计算出的中间结果，这些中间结果被称为KVCache。
LLM大模型教程——什么是AI大模型
西木风落
04-02 981
当GPT-4展现出惊人的上下文理解能力，当Stable Diffusion创造出媲美人类画师的图像作品，当AlphaFold2破解蛋白质折叠密码——这些里程碑事件标志着人工智能发展进入大模型主导的新纪元。本综述将深入解析这一技术革命的核心载体——AI大模型。
NLP高频面试题（十八）——什么是prefill和decoder分离架构
WeLearnNLP
03-26 1988
Prefill-Decoder 分离架构，简单来说就是将大模型推理流程中**“读取输入”和“生成输出”这两部分拆开**，各自优化、协同工作。对于模型服务厂商而言，这是在后GPT时代追求高效部署的一大创新趋势。从Moonshot Kimi的Mooncake架构可以看到，得益于这一思路，他们在实际业务中取得了显著的性能提升和成本节约。标准化与开源生态：随着Mooncake等项目开源，预填充-解码分离架构有望形成标准化方案。
代码阅读：一口一口吃mooncake这块月饼
AI生成曾小健3
11-30 1257
因为阅读的时间短我也是简单看看我的理解是否对，另外根据理解，我整理md里面搭建流程，那个流程相对复杂，我试了一下，整理了一下文档，可以简化一下。其实开源的md已经写得非常清楚了，而且网上已经铺天盖地的各种解读的文章了，本来我这个公众号从来不追热点，不过看完代码之后，还是简单的写点自己的理解。这是一个包含C++和Rust混合编程的项目，主要实现了P2P存储和传输引擎的功能。具体的可以去看代码了~~~~开源的搭建的环境写的非常清楚，不过散落在各个文件中，我大体实验的过程中，简单的记录了下流程，给大家做参考。
月之暗面科技开源kimi核心推理架构：“月饼”
qianggezhishen的专栏
12-08 1047
而且，传统的LLM服务架构通常都假设有足够的资源来处理所有的请求，但随着需求的增加，特别是在高峰时段，这变得越来越难。实验结果表明，与基线相比，月饼在模拟场景中实现了高达五倍的吞吐量增加，并在现实世界的工作负载下实现了75%更多的请求处理。月饼利用以KVCache为中心的预填充-解码（PD）分离技术和存储-计算解耦架构，显著提高了月之暗面科技的LLM服务Kimi的推理吞吐量。这种分离带来了显著的性能提升。未来，他们还计划在传输引擎的基础上构建月饼存储，它支持池化的KVCache，以实现更灵活的P/D解耦。
Mooncake：月之暗面Kimi联合清华等机构推出的大模型推理架构
士多啤梨先生の博客
12-01 1054
Mooncake是由月之暗面Kimi联合清华大学等机构共同开源的大模型推理架构。该架构以KVCache为中心，通过分布式设计和资源优化，显著提升了大模型推理的吞吐量和效率，同时降低了算力开销。Mooncake在长上下文场景中表现出色，支持多种应用场景，如自然语言处理、内容推荐系统和搜索引擎等。
【新功能上线】mooncakes.io：新一代MoonBit包管理平台来啦！！
m0_74743788的博客
12-28 1499
mooncakes.io的发布是推动MoonBit生态系统向前发展的关键一步，但这只是一个新的开始。接下来，我们会不断优化与改进mooncakes.io，以提供给用户更友好的体验。我们期待你的试用与反馈，你的建议是我们不断前行的动力，帮助我们不断地完善与改进。同时，我们诚邀所有对MoonBit感兴趣的用户加入这个充满活力的社区。无论你是上传自己开发的包，还是为现有的包提供改进和建议，你的每一次贡献都将对mooncakes.io的生态系统产生积极影响。
第十二章 集合框架
qq_29145405的博客
01-15 266
1.Java 集合框架关系图 2.集合概述 Java集合框架标准化了Java处理对象组的方式。Java集合框架在JDK1.2版本提出，在JDK1.5版本进行了修改(引入了泛型、自动装箱/拆箱以及for-each格式循环)。 集合框架再设计之初有几个目标： 框架是高性能的，基本集合(动态数组、链表、树、哈希表等)的实现是高效的。 框架必须允许不同类型的集合以类似的方式进行工作，并且有很高的互操作...
【Deepseek学习大模型推理】MOONCAKE: A KVCache-centric Architecture 第一部分引言部分
王尚权 qq:2515162716
04-23 630
作为模型即服务（MaaS）提供商，Kimi [5] 的核心目标之一是解决一个包含多重复杂约束的优化问题：优化目标是最大化整体有效吞吐量（直接影响收入），而约束条件则体现为不同层级的 SLOs。该平台以 KVCache 为中心，采用分离式架构——不仅将预填充（prefill）和解码（decoding）集群解耦，还通过高效利用 GPU 集群中未被充分利用的 CPU、DRAM、SSD 和网卡（NIC）资源，构建了分离式 KVCache。我们的分析基于表1的符号定义，并结合LLaMA3-70B的具体参数。
Kimi终于开源了，联手清华开源大模型推理架构Mooncake
weixin_41446370的博客
11-30 1996
Mooncake 推理系统通过创新的 PD 分离架构和以存换算为中心的理念，显著提升了推理的吞吐能力，吸引了广泛的行业关注。” 他期待更多企业和研究机构加入 Mooncake 项目，共同探索更高效的模型推理系统架构，让 AI 助手等基于大模型技术的产品能够惠及更广泛的人群。同时，该项目将兼容多种推理引擎和底层存储、传输资源。Kimi 公司的工程副总裁许欣然表示:“通过与清华大学 MADSys 实验室的紧密合作，我们共同打造了分离式的大模型推理架构 Mooncake，实现了推理资源的极致优化。
Azure Mooncake 搭建 AKS-Engine (一) - 创建K8S集群
weixin_30689307的博客
03-27 631
AKS-Engine 是Azure 提供的开源K8S 部署包，通过自定义template 文件在Azure 上创建K8S集群。 Step1：安装 AKS-Engine $ aks_version=v0.28.1 $ wget https://mirror.azure.cn/kubernetes/aks-engine/$aks_version/aks-engine-$aks_version...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

编程乐园

请我喝杯伯爵奶茶~！

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值