Prima.cpp ：高效、低成本、私有化部署LLM模型的分布式推理框架

最新推荐文章于 2025-05-14 16:21:11 发布
最新推荐文章于 2025-05-14 16:21:11 发布
阅读量613 收藏 23
点赞数 12
分类专栏： 端侧大模型推优化 文章标签： 分布式 语言模型 负载均衡
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/XXWlt/article/details/147325455
版权

Prima.cpp ：低成本，低延迟，低内存压力，超大LLM模型私有化分布式推理部署方案

项目地址：https://github.com/Lizonghang/prima.cpp

论文地址：https://arxiv.org/abs/2504.08791

​ 最近，一个面向低资源场景的分布式推理框架 prima.cpp 开源了，该项目由 穆罕默德·本·扎耶德人工智能大学 和 电子科技大学信通学院 的研究人员联合开发。旨在在资源有限的普通设备上高效运行更大的模型，根据实验显示，该项目极大加速了边缘部署70B 大模型 DeepSeek R1的推理速度。

lama.cpp 方案相比，推理速度最大提升了15倍，在内存管理上也有了明显进步，告别了OOM和设备卡顿。

Prima.cpp目前支持的热门模型：

DeepSeek系列

未来将支持更多的极低bit量化模型，包括iq2、iq3等

Llama系列

Qwen 2.5 / QwQ系列

prima.cpp 性能表现

测试设备：

D1D2D3D4
设备Mac M1LaptopDesktopMate40Pro
操作系统MacOS（UMA）LinuxLinuxLinux（基于 HarmonyOS）
中央处理器苹果 M1英特尔 i9英特尔 i9麒麟9000
CPU 核心88168
RAM（可用）2.4 GiB4.1 GiB9.7 GiB1.9 GiB
磁盘读取速度0.72 GB/秒2.98 GB/秒3.17 GB/秒1.37 GB/秒
GPU 类型Apple Metal30702080TI-
VRAM（可用）-8 GiB11 GiB-

​ 在 llama.cpp与prima.cpp 上部署的模型推理速度比较，可以看到prima.cpp在超大模型处理上领先，随着模型参数的增大，推理时间变化更为平稳。

模型llama.cpp / 1Tokenprima.cpp / 1Token
Llama 3-8B15 ms54 ms
Llama 3-14B20 ms65 ms
Llama 1-30B202 ms72 ms
Llama 3-45B328 ms233 ms
Llama 3-60B7965 ms468 ms
Llama 1-65B8807 ms569 ms
Llama 3-70B10120 ms674 ms
Qwen-2.5-7B14 ms44 ms
DeepSeek-R1-Distill-Qwen-7B14 ms52 ms
DeepSeek-R1-Distill-Llama-8B14 ms59 ms
Qwen-2.5-14B23 ms65 ms
DeepSeek-R1-Distill-Qwen-14B24 ms76 ms
Qwen-2.5-32B and QwQ-32B224 ms89 ms
DeepSeek-R1-Distill-Qwen-32B232 ms93 ms
DeepSeek-R1-Distill-Llama-70B10978 ms724 ms
Qwen-2.5-72B12227 ms867 ms

对于更大规模的LLM，prima.cpp的推理速度明显优于llama.cpp

部署教程：

​ 由于项目刚刚开源，目前只支持Linux和macOS操作系统进行部署（安卓手机需要模拟linux）。目前 prima.cpp 仅支持基于 CUDA 的 GPU，未来将支持更多的计算后端（如Vulkan、blas等）
注意：请用固态硬盘进行操作，机械硬盘太慢。

如果不能使用huggingface下载模型，也可以使用国内的 modelscope魔塔社区

运行环境依赖准备：

以下第三方库都可以直接通过apt、apt-get直接下载，但注意版本限制。

在Linux(Ubuntu) 上可以执行安装依赖，HiGHS需要自己下：

sudo apt update -y && sudo apt install -y gcc-9 make cmake fio git wget libzmq3-dev
------单独下载HiGHS---------------
git clone https://github.com/ERGO-Code/HiGHS.git
cd HiGHS
mkdir build && cd build
cmake ..
make -j$(nproc)
sudo make install

在macOS 上可以直接下载：

brew install gcc make cmake fio git wget highs zeromq

下载prima.cpp并初始化构建：

git clone https://github.com/Lizonghang/prima.cpp.git

cd prima.cpp  
# 进入目录 "prima.cpp"，这个目录可能包含项目源码
make -j$(nproc)
# 默认构建，使用所有 CPU 核心

------------------------个性化需求构建----------------------------------------
# 如果你在 rank 0 的设备上构建，需要添加 USE_HIGHS=1：
make USE_HIGHS=1 -j$(nproc)
# USE_HIGHS=1 表示启用 HIGHS 求解器（用于数学优化）
# -j$(nproc) 表示使用所有可用的 CPU 核心并行构建，提高构建速度

# 如果你安装了 CUDA，可使用 GPU 加速，添加 GGML_CUDA=1：
make GGML_CUDA=1 -j$(nproc)
# GGML_CUDA=1 启用 CUDA 后端，加速部分操作

# macOS 用户如果模型很大，可能禁用 Metal 会更稳定：
make LLAMA_NO_METAL=1 -j$(nproc)
# LLAMA_NO_METAL=1 禁用 macOS 的 Metal 图形加速，可能有助于大模型运行

# 如果要启用调试模式，可以加上 LLAMA_DEBUG=1：
make LLAMA_DEBUG=1 -j$(nproc)
# LLAMA_DEBUG=1 会开启调试输出，有助于开发和排错

下载一个兼容的模型：比如官方推荐的https://huggingface.co/Qwen/QwQ-32B-GGUF模型进行测试

mkdir download  
wget https://huggingface.co/Qwen/QwQ-32B-GGUF/resolve/main/qwq-32b-q4_k_m.gguf -P download/

分布式多设备部署（prima.cpp项目特色）

官方测试设备:

设备名序号大致型号/说明分配地址
Mac M1D0MacBook Air/Pro M1（2020-2021 款）192.168.1.2
**Laptop **D1普通 Windows 笔电（中端配置）192.168.1.3
**Desktop **D2中端台式机（含独显）192.168.1.4
Mate40 ProD3华为旗舰手机（2020 年发布）192.168.1.5

​ 为了满足通信要求，需要一个 WIFI 局域网, 测试时可以考虑关闭防火墙，开放9000、10000等端口，避免设备之间通信失败。手机需要软件 Termux 模拟Linux系统，下载地址:https://github.com/termux/termux-app/releases

注意：每台设备都需要预先编译得到llama-cli可执行文件。

在每台设备上执行启动命令：

# D0:
./llama-cli -m download/qwq-32b-q4_k_m.gguf -c 1024 -n 256 -p "what is edge AI?" --world 4 --rank 0 --master 192.168.1.2 --next 192.168.1.3 --prefetch

# D1:
./llama-cli -m download/qwq-32b-q4_k_m.gguf -c 1024 --world 4 --rank 1 --master 192.168.1.2 --next 192.168.1.4 --prefetch --gpu-mem 8

# D2:
./llama-cli -m download/qwq-32b-q4_k_m.gguf -c 1024 --world 4 --rank 2 --master 192.168.1.2 --next 192.168.1.5 --prefetch --gpu-mem 11

# D3:
./llama-cli -m download/qwq-32b-q4_k_m.gguf -c 1024 --world 4 --rank 3 --master 192.168.1.2 --next 192.168.1.2 --prefetch

​ 主设备为D0,一旦启动，prima.cpp 将分析每个设备并决定分配多少工作负载，例如，每个设备应该处理多少个模型 layer，以及其中有多少个应该在 GPU 上运行。

数据的通信是有顺序的环形结构，例如D0->D1->D2->D3->D0 ，下图为对应topo。

在这里插入图片描述

如果需要手动控制 layer 分布，可以使用-lw（或--layer-window、--n-layer-window）和-ngl选项：

  • -lw设置每个设备应处理的模型 layer 总数。格式为逗号分隔的列表，每个设备一个值，按顺序排列。可以设置"8,8,8,8"、"4,4,4,4"、"16,16,24,8"。
  • -ngl设置有多少个模型 layer 应该在 GPU 上运行。
# on head device without a GPU, rank 0, use the option "-lw":
./llama-cli -m download/qwq-32b-q4_k_m.gguf -c 1024 -n 256 -p "what is edge AI?" --world 4 --rank 0 --master 192.168.1.2 --next 192.168.1.3 --prefetch -lw "16,16,16,16"

# on worker device with 8 GiB VRAM, rank 1, use the option "-ngl":
./llama-cli -m download/qwq-32b-q4_k_m.gguf -c 1024 --world 4 --rank 1 --master 192.168.1.2 --next 192.168.1.4 --prefetch -ngl 16

# on worker device with 11 GiB VRAM, rank 2, use the option "-ngl":
./llama-cli -m download/qwq-32b-q4_k_m.gguf -c 1024 --world 4 --rank 2 --master 192.168.1.2 --next 192.168.1.5 --prefetch -ngl 16

# on worker device without a GPU, rank 3:
./llama-cli -m download/qwq-32b-q4_k_m.gguf -c 1024 --world 4 --rank 3 --master 192.168.1.2 --next 192.168.1.2 --prefetch

Optional：容器部署（Nvidia显卡需要使用nvidia Docker）

官方测试设备：一台至少配备 32 个 CPU 核心、32 GiB RAM 和 32 GiB VRAM 的主机。

使用 Docker 容器模拟 4 个同构节点，每个节点分配 8 个 CPU 核心、8 GiB RAM 和 8 GiB VRAM。拉取4个镜像：

sudo docker run -dit --name prima-v1 --memory=8gb --memory-swap=8gb --cpus 8 --cpuset-cpus="0-7"   --network host --gpus all prima.cpp:1.0.1-cuda
sudo docker run -dit --name prima-v2 --memory=8gb --memory-swap=8gb --cpus 8 --cpuset-cpus="8-15"  --network host --gpus all prima.cpp:1.0.1-cuda
sudo docker run -dit --name prima-v3 --memory=8gb --memory-swap=8gb --cpus 8 --cpuset-cpus="16-23" --network host --gpus all prima.cpp:1.0.1-cuda
sudo docker run -dit --name prima-v4 --memory=8gb --memory-swap=8gb --cpus 8 --cpuset-cpus="24-31" --network host --gpus all prima.cpp:1.0.1-cuda

# 没有GPU , 去除 --gpus all

分别复制模型到4个容器：

cd prima.cpp/download
sudo docker cp qwq-32b-q4_k_m.gguf prima-v1:/root/prima.cpp/download/
sudo docker cp qwq-32b-q4_k_m.gguf prima-v2:/root/prima.cpp/download/
sudo docker cp qwq-32b-q4_k_m.gguf prima-v3:/root/prima.cpp/download/
sudo docker cp qwq-32b-q4_k_m.gguf prima-v4:/root/prima.cpp/download/

没有GPU需要在4个容器中重新构建 prima.cpp

cd ./prima.cpp && make clean
make -j$(nproc)  # If not rank 0
make USE_HIGHS=1 -j$(nproc)  # If rank 0

启动推理

cd ./prima.cpp
(prima-v1) ./llama-cli -m download/qwq-32b-q4_k_m.gguf -c 1024 -n 256 -p "what is edge AI?" --world 4 --rank 0 --prefetch --gpu-mem 8
(prima-v2) ./llama-cli -m download/qwq-32b-q4_k_m.gguf -c 1024 --world 4 --rank 1 --prefetch --gpu-mem 8
(prima-v3) ./llama-cli -m download/qwq-32b-q4_k_m.gguf -c 1024 --world 4 --rank 2 --prefetch --gpu-mem 8
(prima-v4) ./llama-cli -m download/qwq-32b-q4_k_m.gguf -c 1024 --world 4 --rank 3 --prefetch --gpu-mem 8
#没有GPU 去除--gpu-mem 8

llama-cli 常用参数速查表

其余参数可参考https://github.com/ggml-org/llama.cpp/blob/master/examples/main/README.md

参数名示例值说明
-mdownload/qwq-32b-q4_k_m.gguf指定模型路径（.gguf 格式）
-c1024上下文窗口大小（token 数），影响模型的“记忆范围”
-p"what is edge AI?"提示词（Prompt），模型将基于此生成内容
-n256要生成的最大 token 数量
-ngl30分配到 GPU 的层数（越多越快，但显存要够）
--temp0.8温度参数，控制生成的多样性（越低越稳定）
--top-k40从概率前 K 个词中随机抽取
--top-p0.95从累计概率大于 P 的词中采样
--repeat_penalty1.1惩罚重复词，避免输出重复
--seed42随机种子，保证结果可复现
--threads8使用的 CPU 线程数
--color(无参数)启用彩色输出，提升可读性
--interactive(无参数)启用交互模式，支持多轮对话
--keep0保留多少 token 不被截断（对上下文管理有用）

​⚠️注意：prima.cpp 建议操作系统预取即将到来的层权重，实际的预取操作由操作系统调度和处理，这可能会带来一些不确定性。要在计算后立即显式触发预取，强制预取需要可以添加 --force参数。这会实现更积极的重叠，但也会引入额外的内存访问延迟。--force请仅在测试后使用，因为其效果取决于硬件和操作系统行为。

prima.cpp 应用场景

  • 用户可以在普通设备上部署先进的 30B 至 70B 大模型，实现本地化的智能助手功能，如自然语言对话、日程管理、家庭自动化控制等。

  • 中小企业可以在内部部署大型语言模型，应用于客户服务、文档生成、数据分析等场景，提高工作效率，保护企业数据的安全性。

交流与合作

如果你对prima.cpp项目及LLM分布式推理有兴趣，欢迎邮件与我们进行交流，或者在github主页提出issue。

android.database.sqlite.SQLiteConstraintException: UNIQUE constraint failed: User.id (Sqlite code 15
郭宝的博客
04-24 3602
背景： 在使用 Room 数据库时，出现了如下报错信息 android.database.sqlite.SQLiteConstraintException: UNIQUE constraint failed: User.id (Sqlite code 1555 SQLITE_CONSTRAINT_PRIMARYKEY), (OS error - 2:No such file or directory) 解决办法： 卸载当前的app，然后重新安装 ...
pymysql.err.IntegrityError: (1062, "Duplicate entry 'roxml-ROXML' for key 'PRIMARY'")
weixin_30819163的博客
12-24 994
在《Python数据挖掘－概念、方法与实践》一书的第3章实体匹配中，如果一路按照作者的代码及SQL语句进行配置运行的话，会出现如题目所示的错误。根据python脚本的执行错误提示显示，错误发生在脚本中的第一个INSERT INTO语句中。 其实并不是到插入roxml时候才会报错，而是在前面插入optionparser的时候就已经报错了。这个错误意思是代码试图在表中主键列被插入两个重复值。这个问题耗...
DeepSeek R1：700亿参数，最新本地15X加速部署方案prima.cpp 来了，适合私有化部署需求的公司以及个人使用
www.passlink.cn
04-17 815
最近，一个新兴的推理框架 **prima.cpp** 开源了，该项目由 **穆罕默德·本·扎耶德人工智能大学** 和 **电子科技大学** 的研究人员联合开发。旨在在资源有限的普通设备上高效运行更大的模型，根据实验显示，该项目成功部署了70B 规模的大语言模型 **DeepSeek R1**。在一些模型上与 llama.cpp 方案相比，速度最大提升了15倍，在内存管理上也有了明显进步。
【AI论文】PRIMA.CPP：在低资源日常家用集群上加速700亿参数级大型语言模型推理
m0_66899341的博客
04-16 3742
DeepSeek R1和QwQ 32B的出现突破了在家用设备上运行前沿大型语言模型（LLMs）的性能障碍。虽然消费类硬件越来越强大，模型量化也在不断改进，但现有的端侧解决方案仍然需要GPU集群、大RAM/VRAM和高带宽，远远超出了普通家庭集群的处理能力。本文介绍了prima.cpp，这是一个分布式推理系统，使用CPU/GPU、低RAM/VRAM、Wi-Fi和跨平台支持，在每天的家庭设备上运行70B规模的模型。它使用mmap来管理模型权重，并引入了带有预取功能的管道环并行机制来隐藏磁盘加载。
DeepSeek-R1 部署教程：70B模型的2025最新方案——prima.cpp本地加速部署指南
www.passlink.cn
04-18 833
项目地址：https://github.com/Lizonghang/prima.cpp论文地址：https://arxiv.org/abs/2504.08791​ DeepSeek创始人梁文锋入选《时代》周刊“2025年全球最具影响力100人”榜单，彰显其在人工智能领域的卓越贡献。2025年4月17日，英伟达创始人兼首席执行官黄仁勋时隔三个月再次访问北京。据报道，此行他会见了英伟达在华的重要客户，其中包括生成式人工智能初创公司DeepSeek的创始人梁文锋。
prima.cpp：加速70B级LLM推理的低资源家庭集群
gitblog_01098的博客
04-15 912
prima.cpp：加速70B级LLM推理的低资源家庭集群 prima.cpp prima.cpp: Speeding up 70B-scale LLM inference on low-resource everyday home clusters ...
prima.cpp 项目使用教程
gitblog_00341的博客
04-16 245
prima.cpp 项目使用教程 prima.cpp prima.cpp: Speeding up 70B-scale LLM inference on low-resource everyday home clusters 项目...
### Error querying database. Cause: java.sql.SQLIntegrityConstraintViolationException: Duplicate en
T_Y_F_的博客
09-30 2100
### Error querying database. Cause: java.sql.SQLIntegrityConstraintViolationException: Duplicate en
developers.prima.it:Prima.it开发人员网站
05-03
是由 创建的一页代理商代理主题。... Start Bootstrap基于Mark Otto和Jacob Thorton创建的Bootstrap框架。 版权和许可 版权所有2013-2015 Iron Summit Media Strategies，LLC。 根据Apache 2.0许可发布的代码。
PRIMA客户关系管理系统源码：高效管理与维护
根据给定的文件信息，我们可以分析出与“PRIMA简单客户关系管理源码”相关的知识点。这份源码显然是一个软件项目的核心部分，该项目用于处理客户关系管理的相关功能。在深入探讨之前，我们首先明确客户关系管理（CRM...
Prima-Donna:我的 Prima Donna 名单---我发誓不为不正确对待员工的雇主工作
06-15
第一夫人 这是对未来雇主的“要求”清单。 这并不意味着是一个不灵活的列表——缺少其中的一些可能没问题。 所有这些都意味着一个危险信号，表明雇主没有充分解雇员工，或者不会存在足够长的股权来获得回报。...
分布式微服务系统架构第125集：AI大模型
程序员哆啦A梦，蓝胖子
05-09 1277
mongo，cassandra，elasticsearch，redis，clickhouse，mysql，postgresql集群，扩展，多节点分布。把用户上传的文件上传到腾讯云 COS，然后调用内容审核接口判断该文件是否包含违规内容（如暴力、涉黄等），如果违规就抛出异常。：这是 Spring Web 的一个接口，你可以用它来自定义 Web 行为（比如 CORS、静态资源、拦截器等）。每个主节点可有从节点。：至少 3 个 Etcd/Consul 实例+3 个 Patroni 主体节点，保证高可用。
分布式ID设计 数据库主键自增
温柔半两，从容一生
05-09 867
本文详细介绍了分布式系统中生成唯一ID的多种方案，重点分析了在分库分表环境下的应用。首先，通过一个电商平台的订单ID生成示例，展示了如何利用MySQL的自增主键和唯一索引特性生成全局唯一ID。接着，探讨了多服务器共享唯一索引的原理，并解释了UUID_SHORT()的高唯一性。针对分库分表场景，提出了四种解决方案：专用ID生成库、号段模式、UUID和雪花算法，并对比了它们的优缺点。最后，总结了分库分表下的最佳实践，建议优先考虑号段模式，并结合数据库分片和监控灾备措施，以确保ID生成的可靠性和性能。
SpringBoot的单体和分布式的任务架构
学习记录
05-13 966
在Spring Boot生态中，定时任务框架的选择需根据架构类型（单体或分布式）和功能需求进行权衡。对于单体架构，Spring Task和ScheduledExecutorService是轻量级且易用的选择，适合单机部署和简单任务逻辑。Spring Task通过注解快速配置任务，但缺乏动态修改和分布式协调能力；ScheduledExecutorService支持多线程并发，但不支持Cron表达式和任务持久化。对于分布式架构，Quartz、Elastic-Job和XXL-JOB提供了高可用、任务分片和故障转移
分布式微服务系统架构第131集：fastapi-python
程序员哆啦A梦，蓝胖子
05-13 435
阿里云 Elasticsearch Service（AES）是一项托管服务，包含 Elasticsearch 和 Kibana，免运维、可弹性伸缩。托管式 Elasticsearch Service（AES） + Logstash/Beats。仓库地址：https://webvueblog.github.io/JavaPlusDoc/控制台 → 产品 → Elasticsearch（托管版）→ 创建实例。选择规格（节点数、规格、存储）与网络（VPC、交换机）
分布式异步强化学习框架训练32B大模型：INTELLECT-2
直达开源前线，冲冲冲！
05-13 499
INTELLECT-2 是一个拥有 320 亿参数的语言模型，基于 qwen2 架构构建，与 vllm 和 sglang 等推理引擎兼容。该模型通过社区贡献的分布式 GPU 资源进行强化学习训练，采用 prime-rl 框架和基于可验证奖励的 GRPO 方法，特别强调长度控制预算。训练数据集主要包括数学和编码任务，模型在 AIME24、AIME25 和 LiveCodeBench 等基准上表现优于 QwQ-32B，但在 IFEval 上略有下降。总体而言，INTELLECT-2 在数学和编码能力上表现出色，
Gartner《分布式和微服务架构中数据架构》学习心得
2501_91410404的博客
05-14 745
随着信息技术的不断发展，软件架构也在持续演变以适应不断变化的业务需求。从传统的单体架构向分布式和微服务架构转变，给数据的管理带来了新的挑战和机遇。《Working With Data in Distributed and Microservices Architectures》研究针对在分布式和微服务架构中处理数据提供了建议，涵盖了从基本概念到详细实践的各个方面。
PyTorch API 8 - 工具集、onnx、option、复数、DDP、量化、分布式 RPC、NeMo
AI工程化、开源分享、文档翻译、代码笔记
05-10 1191
警告：本模块中的所有函数均用于初始化神经网络参数，因此它们都在 模式下运行，且不会被自动求导机制追踪。 返回给定非线性函数的推荐增益值。具体数值如下：​​ Leaky Relu KaTeX parse error: Expected 'EOF', got '_' at position 34: … \text{negative_̲slope}^2}}​​ SELU 34\frac{3}{4}43​​ 警告：为了实现自归一化神经网络，应该使用而非。这样可以使初始权重具有的方差，这对在前向传播中
初探 Skynet：轻量级分布式游戏服务器框架实战
最新发布
weixin_71694051的博客
05-14 646
服务启动时执行的代码（如打印 "hello skynet"）在 Actor 初始化阶段同步执行。当有新客户端连接时，Skynet 会将这个事件封装成消息发送给当前服务。c->lua每个协程一个栈 我们需要维护栈的空间 弹出不需要的栈空间。， 因此，只要你不是不断的把数据压栈， 通常你不用关心堆栈 大小。是服务的入口点，Skynet 会为这个服务创建一个独立的。创建虚拟机时，伴随创建了一个主协程，默认创建一个虚拟栈；我们通过一个网络消息的代码案例来看actor是怎么运行的。，每一个协程都有一个栈；
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值