Llama.cpp 服务器安装指南（使用 Docker，GPU 专用）

最新推荐文章于 2025-03-28 19:50:34 发布
最新推荐文章于 2025-03-28 19:50:34 发布
阅读量973 收藏 1
点赞数
分类专栏： AI 高级应用 文章标签： llama 服务器 docker llama.cpp
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/canduecho/article/details/145899289
版权

前置条件

在开始之前，请确保你的系统满足以下要求：

  • 操作系统：Ubuntu 20.04/22.04（或支持 Docker 的 Linux 系统）。
  • 硬件：NVIDIA GPU（例如 RTX 4090）。
  • 内存：16GB+ 系统内存，GPU 需 12GB+ 显存（RTX 4090 有 24GB）。
  • 存储：15GB+ 可用空间（用于源码、镜像和模型文件）。
  • 网络：需要互联网连接以下载源码和依赖。
  • 软件：
    • 已安装并运行 Docker。
    • 已安装 NVIDIA Container Toolkit 以支持 GPU。

第一步：安装 Docker 和 NVIDIA Container Toolkit

安装 Docker

  1. 更新软件包列表

了解本专栏 订阅专栏 解锁全文 超级会员免费看
Llama.cpp Server Installation Guide with Docker (CPU-Only)
canduecho的专栏
02-27 405
这个镜像默认支持 CPU，不含 CUDA。若需 GPU 支持，得用 server-cuda，但你指定 CPU-only，这里保持原样。-t 8: Uses 8 CPU threads (调整为你的核心数，跑 nproc 查看).-c 4096 够用，若处理长对话可增到 8192（注意 RAM 使用）。改端口：-p 8080:8080 和 --port 8080。Increase -t 到 CPU 最大核心数。Check -v 路径和文件名是否正确。
llama.cpp LLM模型 windows cpu安装部署；运行LLaMA2模型测试
weixin_42357472的博客
06-20 6093
参考： https://www.listera.top/ji-xu-zhe-teng-xia-chinese-llama-alpaca/ https://blog.csdn.net/qq_38238956/article/details/1301135991、下载： 2、编译 3、测试运行
从零开始到基于docker容器和llama.cpp/llama-cpp-python部署大模型的简易教程
qq_41911158的博客
11-04 2757
llama.cpp是一个大模型推理平台，可以运行gguf格式的量化模型，并使用C++加速模型推理，使模型可以运行在小显存的gpu上，甚至可以直接纯cpu推理，token数量也可以达到四五十每秒（8核16线程，使用qwen2.5-1.5b模型），另外，该平台几乎兼容所有主流模型。本文介绍了如何使用docker部署llama.cpp和llama.cpp的python绑定llama-cpp-python
【学习笔记】：Ubuntu 22 使用模型量化工具llama.cpp部署大模型 CPU+GPU
qq_44305583的博客
03-13 6010
Ububtu22下模型量化工具llama.cpp及llama-cpp-python部署应用。
llama.cpp模型量化（本地） + ollama部署（docker）（超详细实况二）
最新发布
Q2024107的博客
03-28 414
为此我们需要借助llama.cpp对模型文件进行量化，经由llama.cpp量化后的模型（以llama3.1-8b指令微调版为例）即使是在个人消费级显卡也能顺利运行。我这里是放入了ollama映射的本地文件夹内，也可以生成后手动剪切到您ollama设置的映射文件夹下，新建Modelfile.txt文件。llama.cpp是由C++编写的，因此为了在本地使用，首先我们需要下载VisualStudio，地址。中途会有大量的警告，只要没有出现红色报错一般是没有关系的，大概五分钟后完成编译。
大模型部署工具 llama.cpp 介绍与安装使用
热门推荐
youmaob的博客
04-07 1万+
另外一个是量化，量化是通过牺牲模型参数的精度，来换取模型的推理速度。llama.cpp 提供了大模型量化的工具，可以将模型参数从 32 位浮点数转换为 16 位浮点数，甚至是 8、4 位整数。训练的过程，实际上就是在寻找模型参数，使得模型的损失函数最小化，推理结果最优化的过程。训练完成之后，模型的参数就固定了，这时候就可以使用模型进行推理，对外提供服务。大模型时代，企业对人才的需求变了，AIGC相关岗位人才难求，薪资持续走高，AI运营薪资平均值约。llama.cpp 提供了模型量化的工具。
llama.cpp 编译安装@Ubuntu
skywalk8163的专栏
03-28 1657
llama中文名羊驼，Meta AI推出的一款大型语言模型，其性能在多个自然语言处理任务上表现优异是一个非常棒的自然语言生成模型。 llama.cpp是一个使用c语言推理llama的软件包，它支持FreeBSD、Linux等多种平台。
llama.cpp 安装使用（支持CPU、Metal及CUDA的单卡/多卡推理）
宇宙有只 AGI 的博客
10-09 1381
1. 详细步骤 1.1 安装 cuda 等 nvidia 依赖(非CUDA环境运行可跳过) # 以 CUDA Toolkit 12.4: Ubuntu-22.04/24.04(x86_64) 为例，注意区分 WSL 和 Ubuntu，详见 https://developer.nvidia.com/cuda-12-4-1-download-archive?target_os=Linux&ta...
LLM | llama.cpp 安装使用（支持CPU、Metal及CUDA的单卡/多卡推理）
宇宙有只 AGI 的博客
09-29 5015
包括CUDA安装，llama.cpp C/C++、Python环境配置，GGUF模型转换、量化与推理测试
构建llama.cpp并在linux上使用gpu
百般回首曾经的相遇，留下的只是一缕残忆
10-06 3639
更多详情参见，官网网站会随着版本迭代更新。
Docker下使用llama.cpp部署带Function calling和Json Mode功能的Mistral 7B模型
shizidushu的博客
08-27 2509
Docker下使用llama.cpp部署带Function calling和Json Mode功能的Mistral 7B模型
llama.cpp 安装和配置指南
gitblog_09336的博客
09-13 1389
llama.cpp 安装和配置指南 llama.cpp Port of Facebook's LLaMA model in C/C++ 项目地址: https://gitcode.com/gh_mirrors/ll/llama.c...
【AI大模型】llama.cpp模型量化（本地） + ollama部署（docker）（超详细实况二）
huang9604的博客
10-29 2993
【AI大模型】llama.cpp模型量化（本地） + ollama部署（docker）（超详细实况二）
Windows11(非WSL)安装Installing llama-cpp-python with GPU Support
我看故我听
02-18 3177
直接安装，只支持CPU。想支持GPU，麻烦一些。
在线或离线llama.cpp安装和模型启动
hahaha_1112的博客
01-10 3746
先附上llama.cpp的github地址：https://github.com/ggerganov/llama.cpp，build地址：https://github.com/ggerganov/llama.cpp/blob/master/docs/build.md。如果需要在内网服务器中安装，可以下载llama.cpp的源码文件或二进制文件，下载地址：https://github.com/ggerganov/llama.cpp/releases。，如果没有可以跳过，如果有请按照我的以下流程安装一遍。
docker安装llama-cpp-python加载gguf推理全过程
AI前沿技术的分享！
09-12 916
llama-cpp-python加载gguf推理全过程
windows下部署llama.cpp
qq_36437991的博客
04-01 3298
windows下部署llama.cpp
源码方式安装llama.cpp及调试
goodgood_UP的博客
02-20 699
【代码】服务器环境部署llama.cpp + CUDA。
Docker 使用 llama.cpp 在 OrangePi 5B 上运行 llama-2 模型
iCloudEnd的博客
04-14 210
在本文中，我们将逐步介绍如何让llama-2模型在基于 ARM 的廉价 SBC（例如 Orange PI）上运行。我们将利用llama.cpp ，这是Georgi Gerganov在各种硬件上以最少的设置运行 LLM 推理时所做的最令人惊叹的工作。注意：我在 Orange Pi 5B 上使用自编译的 Linux 内核。默认的 OrangePi Ubuntu Server Jammy 映像已预加载Docker ，但由于缺少内核模块，因此无法与Ceph FS 存储（具有 RWO 访问模式）一起使用。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

田猿笔记

写文章不容易，希望大家小小打赏

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值