大模型本地部署神器：llama.cpp使用介绍

最新推荐文章于 2025-04-15 20:59:53 发布
最新推荐文章于 2025-04-15 20:59:53 发布
阅读量1.1k 收藏 26
点赞数 15
文章标签： llama RAG LLM 人工智能 职场和发展 大模型 大模型教程
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2401_85390073/article/details/146709787
版权

介绍llama.cpp

本节主要介绍什么是llama.cpp，以及llama.cpp、llama、ollama的区别。同时说明一下GGUF这种模型文件格式。

什么是llama.cpp

llama.cpp是一个由Georgi Gerganov开发的高性能C++库，主要目标是在各种硬件上（本地和云端）以最少的设置和最先进的性能实现大型语言模型推理。

主要特点：

  • 纯C/C++实现，没有任何依赖

  • 对Apple Silicon（如M1/M2/M3芯片）提供一流支持 - 通过ARM NEON、Accelerate和Metal框架优化

  • 支持x86架构的AVX、AVX2、AVX512和AMX指令集

  • 支持1.5位、2位、3位、4位、5位、6位和8位整数量化，实现更快的推理和更低的内存使用

  • 为NVIDIA GPU提供自定义CUDA内核（通过HIP支持AMD GPU，通过MUSA支持摩尔线程MTT GPU）

  • 支持Vulkan和SYCL后端

  • CPU+GPU混合推理，可部分加速大于总VRAM容量的模型

llama、llama.cpp、ollama的区别

是不是经常听到llama、llama.cpp、ollama这三个名字，看起来都包括lalama，但实际上它们是不同的概念：

  1. LLaMA：

    • LLaMA（Large Language Model Meta AI）是由Meta（Facebook）开发的大型语言模型系列

    • 它是一组开源的基础语言模型，包括不同参数规模的版本（如LLaMA、LLaMA 2、LLaMA 3等）

    • LLaMA是模型本身，即训练好的神经网络权重和架构文件，有不同大小的模型，如3B、7B、13B、65B、70B、130B等

  2. llama.cpp：

    • llama.cpp是一个C++库，用于在CPU上高效运行LLaMA模型

    • 它是由Georgi Gerganov开发的，专注于优化LLaMA模型在消费级硬件上的推理性能

    • 主要特点是内存效率高、支持量化（如4-bit、5-bit、8-bit量化）以减少内存需求

    • 它是运行模型的推理引擎

  3. Ollama：

    • Ollama是一个应用程序，让用户能够轻松下载、运行和使用各种大型语言模型

    • 它在底层使用llama.cpp作为推理引擎

    • Ollama提供了友好的命令行界面和API，简化了模型的管理和使用

    • 它相当于是llama.cpp的上层封装，增加了模型管理、会话管理等功能

所以说，LLaMA是模型本身（"大脑"），llama.cpp是高效运行这些模型的引擎（"引擎"），Ollama是一个用户友好的应用程序，使用llama.cpp作为引擎，让普通用户能够轻松使用这些模型（"应用"）

GGUF

我们常听说一下模型文件格式，GGUF就是其中一种专为 llama.cpp 设计的二进制格式，取代早期的 GGML。 GGUF（GPT-Generated Unified Format）是一种用于存储模型以便使用GGML和基于GGML的执行器进行推理的文件格式。，具有以下优势：

  • 高效存储与加载：通过紧凑编码和内存映射技术加速模型载入47。

  • 自包含性：文件内包含模型架构、超参数等完整信息，无需额外依赖7。

  • 可扩展性：支持在不破坏兼容性的情况下新增元数据 下图是一个文件格式介绍：

    image.png

Mac M1上安装llama.cpp做模型推理

本节介绍如何在Mac M1上安装llama.cpp，并使用模型进行推理。

设备：Mac Book Air(M1芯片，8G内存) 

系统：macOS 15.0 

模型：llama3.2-3B-Instruct

安装

Mac设备上安装有两种方式，下载源代码编译或者通过brew安装。 我们直接用brew安装。

brew install llama.cpp

下载模型

https://huggingface.co/models?library=gguf&sort=trending

https://huggingface.co/bartowski/Llama-3.2-3B-Instruct-GGUF/blob/main/Llama-3.2-3B-Instruct-Q8_0.gguf

运行推理

llama-cli -m Llama-3.2-3B-Instruct-Q8_0.gguf

运行成功后，可以看到一些推理参数。比如对Apple的图形计算Metal的支持、对ARM 上NEON优化的支持等。

Screenshot 2025-03-21 at 18.14.36.png

在命令行直接对话：

Screenshot 2025-03-21 at 18.15.23.png

M1芯片的Mac上，llama.cpp的推理速度非常快，基本秒出结果。

Linux下安装llama.cpp并使用模型进行推理

本节介绍如何在Linux下安装llama.cpp，并使用模型进行推理。

设备：Linux服务器(阿里云服务器：Intel CPU，2G内存) 

系统：Ubuntu 22.04 

模型：llama3.2-3B-Instruct

安装

  1. 下载编译

git clone https://github.com/ggerganov/llama.cpp.git

  1. 安装cmake 安装cmake

sudo apt install cmake

  1. 编译

cmake -B buildcmake --build build --config Release

运行推理

  1. 下载模型文件

同样使用前面下载的模型文件Llama-3.2-3B-Instruct-Q8_0.gguf。

  1. 运行推理

../llama.cpp/build/bin/llama-cli -m Llama-3.2-3B-Instruct-Q8_0.gguf

Screenshot 2025-03-21 at 19.04.49.png

阿里云服务器是Intel CPU，所以需要使用CPU进行推理。配置比较低，所以推理速度比较慢，不可用。服务端的话还是要购买GPU服务器或者直接购买API服务做推理。

总结

  1. 由于llama.cpp是纯C/C++实现的，能够跨平台部署大模型推理。同时针对不同的硬件做了优化，所以推理速度非常快，尤其是Apple M1芯片，完全超出我的预期。我平时用的多的Ollama就是基于这个库的封装，对使用模型和应用开发更加友好。如果不做模型量化转换的话，用Ollama做本地模型部署就可以了。

  2. 小模型部署在端侧的部署还是很有意义的，比如在手机上部署一个llama3.2-3B-Instruct模型，可以实现非常快的推理速度。未来模型同时在端侧和云端部署，端侧模型推理速度更快，云端模型更强大，可以实现非常多的应用场景。

参考资料

  1. https://github.com/ggml-org/llama.cpp

  2. https://github.com/ggml-org/ggml/blob/master/docs/gguf.md

  3. https://github.com/ggml-org/llama.cpp/blob/master/docs/install.md

  4. https://juejin.cn/post/7332652230711509055

  5. https://agi-sphere.com/install-llama-mac

 

 大模型&AI产品经理如何学习

求大家的点赞和收藏，我花2万买的大模型学习资料免费共享给你们，来看看有哪些东西。

1.学习路线图

第一阶段： 从大模型系统设计入手，讲解大模型的主要方法；

第二阶段： 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用；

第三阶段： 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统；

第四阶段： 大模型知识库应用开发以LangChain框架为例，构建物流行业咨询智能问答系统；

第五阶段： 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；

第六阶段： 以SD多模态大模型为主，搭建了文生图小程序案例；

第七阶段： 以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。


2.视频教程

网上虽然也有很多的学习资源，但基本上都残缺不全的，这是我自己整理的大模型视频教程，上面路线图的每一个知识点，我都有配套的视频讲解。

（都打包成一块的了，不能一一展开，总共300多集）

因篇幅有限，仅展示部分资料，需要点击下方图片前往获取

3.技术文档和电子书 

这里主要整理了大模型相关PDF书籍、行业报告、文档，有几百本，都是目前行业最新的。



4.LLM面试题和面经合集


这里主要整理了行业目前最新的大模型面试题和各种大厂offer面经合集。



👉学会后的收获：👈
• 基于大模型全栈工程实现（前端、后端、产品经理、设计、数据分析等），通过这门课可获得不同能力；

• 能够利用大模型解决相关实际项目需求： 大数据时代，越来越多的企业和机构需要处理海量数据，利用大模型技术可以更好地处理这些数据，提高数据分析和决策的准确性。因此，掌握大模型应用开发技能，可以让程序员更好地应对实际项目需求；

• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；

• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。

1.AI大模型学习路线图
2.100套AI大模型商业化落地方案
3.100集大模型视频教程
4.200本大模型PDF书籍
5.LLM面试题合集
6.AI产品经理资源合集***

👉获取方式：
😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓

对deepseek进行微调
03-07 212
平台上托管了超过 90 万个开源机器学习模型，提供了超过 20 万个数据集，允许用户托管机器学习演示应用程序，支持使用 Gradio 和 Streamlit 等工具构建交互式应用，提供模型推理 API，用户无需下载模型即可直接调用。缺点是资源需求高，开发周期长，技术难度大，如果没有足够的数据或优化经验，模型性能可能不如现有的预训练模型。模型的计算图和权重。3. .pt 和 .pth 格式：PyTorch 的原生格式，.pt 通常保存完整模型（包括结构和参数），而 .pth 更多用于保存模型的状态字典。
llama.cpp使用
m0_61797126的博客
07-21 3420
由于该库在不断更新，请注意以官方库的说明为准。目前互联网上很多教程是基于之前的版本，而2024年6月12日后库更新了，修改了可执行文件名，导致网上很多教程使用的quantize、main、server等指令无法找到，在当前版本（截至2024年7月20日）这些指令分别被重命名为llama-quantize、llama-cli、llama-server。
大模型部署工具 llama.cpp 介绍与安装使用
youmaob的博客
04-07 1万+
另外一个是量化，量化是通过牺牲模型参数的精度，来换取模型的推理速度。llama.cpp 提供了大模型量化的工具，可以将模型参数从 32 位浮点数转换为 16 位浮点数，甚至是 8、4 位整数。训练的过程，实际上就是在寻找模型参数，使得模型的损失函数最小化，推理结果最优化的过程。训练完成之后，模型的参数就固定了，这时候就可以使用模型进行推理，对外提供服务。大模型时代，企业对人才的需求变了，AIGC相关岗位人才难求，薪资持续走高，AI运营薪资平均值约。llama.cpp 提供了模型量化的工具。
llama.cpp 项目使用教程
gitblog_00247的博客
08-08 629
llama.cpp 项目使用教程 项目地址:https://gitcode.com/gh_mirrors/ll/llama.cpp 1. 项目的目录结构及介绍 llama.cpp 项目的目录结构如下： llama.cpp/ ├── examples/ │ ├── main.cpp │ └── ... ├── include/ │ ├── llama.h │ └── ... ├── ...
llama.cpp 安装使用（支持CPU、Metal及CUDA的单卡/多卡推理）
宇宙有只 AGI 的博客
10-09 1335
1. 详细步骤 1.1 安装 cuda 等 nvidia 依赖(非CUDA环境运行可跳过) # 以 CUDA Toolkit 12.4: Ubuntu-22.04/24.04(x86_64) 为例，注意区分 WSL 和 Ubuntu，详见 https://developer.nvidia.com/cuda-12-4-1-download-archive?target_os=Linux&ta...
Llama.cpp工具main使用手册
新缸中之脑
09-15 2731
Llama.cpp提供的 main工具允许你以简单有效的方式使用各种 LLaMA 语言模型。它专门设计用于与 llama.cpp 项目配合使用。推荐：用快速搭建可编程3D场景Llama.cpp的工具 main提供简单的 C/C++ 实现，具有可选的 4 位量化支持，可实现更快、更低的内存推理，并针对桌面 CPU 进行了优化。该程序可用于使用 LLaMA 模型执行各种推理任务，包括根据用户提供的提示生成文本以及使用反向提示进行类似聊天的交互。
大模型工具大比拼：SGLang、Ollama、VLLM、LLaMA.cpp 如何选择？
Xtaiyang的博客
02-18 3344
在人工智能飞速发展的今天，大模型已经成为推动技术革新的核心力量。无论是智能客服、内容创作，还是科研辅助、代码生成，大模型的身影无处不在。然而，面对市场上琳琅满目的工具，如何挑选最适合自己的那一款？本文将深入对比 SGLang 、Ollama 、VLLM 和 LLaMA.cpp 四款热门大模型工具，帮助您找到最契合需求的解决方案！
稀疏训练 × Lottery Ticket Hypothesis 实战剖析：从子网络挖掘到部署落地
最新发布
在信息的熵增中，记录结构、重建秩序。 技术思想者的笔记，系统构建者的注释。
04-15 1019
本文将结合稀疏训练（Sparse Training）、修剪回溯（Iterative Pruning）和可部署稀疏结构设计，系统梳理 LTH 在大模型中的实际操作路径，包括： > > - LTH 理论核心与其在 Transformer 上的演化版本 > - 经典 LTH 实验流程（修剪 → 回溯 → 微调） > - 稀疏训练框架（如 RigL、SNIP、GMP、STR）的算法对比与工程化代码 > - 稀疏结构的部署兼容性与落地建议（ONNX、TRT、vLLM）
《Ollama与DeepSeek》：此文为AI自动生成
zheng_ruiguo的专栏
02-01 1174
Ollama：运行深度学习神经网络大模型的神器
开源大模型框架llama.cpp使用C++ api开发入门
踏莎行的博客
11-24 4182
是一个C++编写的轻量级开源类AIGC大模型框架，可以支持在消费级普通设备上本地部署运行大模型，以及作为依赖库集成的到应用程序中提供类GPT的功能。以下基于llama.cpp的源码利用C++ api来开发实例demo演示加载本地模型文件并提供GPT文本生成。
llama.cpp试用
tych22000的博客
05-13 988
显存占用是真的低，13B vicuna int4量化，example/chat-13B.sh 正常问答交流，不到2G的占用。相比之下，vicuna7B原版int8量化，8G显卡下，cuda会OOM (原版不支持int4量化)。chatglm6B int4量化，显存占用仍然需要6G。
2024-01-04 用llama.cpp部署本地llama2-7b大模型
老林的博客
01-04 3833
要解决问题: 使用一个准工业级大模型, 进行部署, 测试, 了解基本使用方法.想到的思路:llama.cpp, 不必依赖显卡硬件平台. 目前最亲民的大模型基本就是llama2了, 并且开源配套的部署方案已经比较成熟了.其它的补充: 干就行了.现在AI是如火如荼, 傻子都知道这是风口, 但不用多少智商, 也应该知道, 自己烧大模型, 纯属扯淡, 还是让一线公司开源, 咱们跟着玩玩吧, 如果对这方面足够了解, 可以试试用自己的数据进行微调, 但这个话题, 本文作者并不会, 就不瞎唠叨了.
5.llama.cpp编译及使用
Venus的博客
01-29 2386
llama.cpp llama2
一文熟悉新版llama.cpp使用并本地部署LLAMA
热门推荐
lovely_yoshino的博客
11-08 3万+
>关于UCloud(优刻得)旗下的compshare算力共享平台 UCloud(优刻得)是中国知名的中立云计算服务商，科创板上市，中国云计算第一股。 Compshare GPU算力平台隶属于UCloud，专注于提供高性价4090算力资源，配备独立IP，支持按时、按天、按月灵活计费，支持github、huggingface访问加速。 [https://www.compshare.cn/?ytag=GPU_lovelyyoshino_Lcsdn_csdn_display]
llama.cpp部署多模态视觉模型到应用实践
xingxingyu1的博客
03-05 3915
使用llama.cpp部署多模态视觉模型，运行本地模型服务器，在手机端打开摄像头识别场景
使用 llama.cpp 加载量化模型推理的完整示例
学亮编程手记
03-28 352
假设已生成量化后的 GGUF 文件（如。
大模型部署工具 llama.cpp 介绍与安装使用_看完这篇就够了
heaven522的博客
11-19 2164
这些大型预训练模型，如GPT-3、BERT、XLNet等，以其强大的语言理解和生成能力，正在改变我们对人工智能的认识。训练的过程，实际上就是在寻找模型参数，使得模型的损失函数最小化，推理结果最优化的过程。训练完成之后，模型的参数就固定了，这时候就可以使用模型进行推理，对外提供服务。作为普通人，入局大模型时代需要持续学习和实践，不断提高自己的技能和认知水平，同时也需要有责任感和伦理意识，为人工智能的健康发展贡献力量。以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。
[NLP] 使用Llama.cpp和LangChain在CPU上使用大模型-RAG
摩登都市天空---专栏
11-07 6090
下载llama-cpp, llama-cpp-pythonLangChain是一个提供了一组广泛的集成和数据连接器，允许我们链接和编排不同的模块。可以常见聊天机器人、数据分析和文档问答等应用。sentence-transformer提供了简单的方法来计算句子、文本和图像的嵌入。它能够计算100多种语言的嵌入。我们将在这个项目中使用开源的all-MiniLM-L6-v2模型。Facebook AI相似度搜索(FAISS)是一个为高效相似度搜索和密集向量聚类而设计的库。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值