深入大模型-4-大模型微调之Windows10安装大语言模型llama.cpp推理环境

llama.cpp用普通CPU，零依赖，零外部API，让你在最低配置的硬件上也能流畅运行大模型。

1 llama.cpp

llama.cpp是由Georgi Gerganov开发的一个开源项目，它的核心使命很简单：让任何人都能在普通硬件上运行大语言模型。

llama.cpp是一个用C/C++编写的高性能、轻量级大语言模型(LLM)推理引擎，专注于在本地设备上高效运行大型语言模型，而无需依赖云服务或强大的 GPU。它最初由开发者Georgi Gerganov创建，旨在支持Meta的Llama系列模型，但现已发展为支持多种主流开源模型的通用推理框架。

1.1 llama.cpp的特点

(1)纯C/C++实现，零依赖
大部分AI框架都依赖Python、CUDA、各种深度学习库。
而llama.cpp是纯C/C++写的，没有任何外部依赖。这意味着什么？编译一次，到处运行。不用担心Python版本冲突，不用安装一堆驱动，甚至可以在嵌入式设备上跑。

(2)激进的量化技术
这是llama.cpp最核心的创新。传统模型使用16位或32位浮点数存储参数，而llama.cpp支持1.5位到8位的整数量化。想象一下，一个原本需要13GB内存的7B模型，量化后只需要3.5GB，性能损失却微乎其微。

(3)硬件适配的艺术
不管你是Mac的M系列芯片、Intel的CPU、还是ARM处理器，llama.cpp都能充分利用硬件特性。