Ollama和llama.cpp选型指南: 以DeepSeek-R1 32B 大模型部署实践为例

最新推荐文章于 2025-03-05 14:36:24 发布

大模型老炮

最新推荐文章于 2025-03-05 14:36:24 发布

阅读量1k

点赞数 27

文章标签： llama 大模型教程大模型 windows 人工智能职场和发展 AI

本文链接：https://blog.csdn.net/2401_85375151/article/details/145982338

版权

1.背景

Ollama和llama.cpp都是比较常见的本地部署大模型的工具，借助他们普通的笔记本也可以跑大模型。 Ollama和llama.cpp名字里面都带了个llama容易造成选择困难。本文希望能借助一个实际的例子，帮助你快速做出选择。

先说结论：如果只是本地部署不考虑性能的话闭眼选Ollama，如果要做"极致优化性能为王"就选llama.cpp.

后文会分别用Ollama和llama.cpp部署DeepSeek-R1 32B的实践说明如何得出这个结论的。

2.Ollama和llama.cpp的关系

Ollama和llama.cpp里面都带了个llama，就是我们熟悉的Meta开源的llama模型。 起初Ollama和llama.cpp都是用来服务llama的， 后来就独立发展成了两个独立的软件了， 他们都有自己的社区。 

这里想重点说明的是， Ollama用llama.cpp作为底层实现模型推理的。这一点可以从Ollama的源码中得到答案：

Ollama代码的子目录llama里面就是包含了llama.cpp的代码，并且通过llama.go文件将c++的接口导出到golang空间使用了。因此，从源码的角度就可以认为llama.cpp就是Ollama的底层。

3.评测Ollama和llama.cpp

llama.cpp推荐的模型格式是GGUF， 为了公平让Ollama也使用同一个GGUF的模型。 我这里实验使用的是：DeepSeek-R1-Distill-Qwen-32B-Q5\_K\_M.gguf 模型。

3.1 Ollama部署DeepSeek-R1 32B

Ollama默认是不支持GGUF格式的，需要用Modelfile转换以下。步骤如下：

创建一个名为deepseek-r1-32b.gguf文件，内容如下：

FROM ./bartowski/DeepSeek-R1-Distill-Qwen-32B-Q5_K_M.gguf

执行如下命令：

ollama create my-deepseek-r1-32b-gguf -f .\deepseek-r1-32b.gguf

就可以DeepSeek-R1 32B的GGUF模型导入到Ollama使用了

执行命令启动该模型：

ollama run my-deepseek-r1-32b-gguf:latest

这时可以正常加载了，通过ollama ps命令可以看到进程信息如下：

NAME                              ID              SIZE     PROCESSOR          UNTIL``my-deepseek-r1-32b-gguf:latest    ad9f11c41b7a    25 GB    87%/13% CPU/GPU    3 minutes from now

可以看到，整个模型有25G， 87%加载到了CPU内存空间，13%加载到了GPU空间。实际使用发现推理是很慢的，但是还是可以用的。

3.2 llama.cpp部署DeepSeek-R1 32B

我用的是gitbash，因此llama.cpp的安装参考的是参考：

https://github.com/ggml-org/llama.cpp/blob/master/docs/build.md#git-bash-mingw64

你也可以根据自己的情况选择正确的参考内容进行安装。安装完后，用如下命令执行：

build/bin/Release/llama-cli -m "/path/to/DeepSeek-R1-Distill-Qwen-32B-Q5_K_M.gguf" -ngl 100 -c 16384 -t 10 -n -2 -cnv

结果如下：

ggml_vulkan: Device memory allocation of size 1025355776 failed.` 
`ggml_vulkan: vk::Device::allocateMemory: ErrorOutOfDeviceMemory llama_model_load: error loading model: unable to allocate Vulkan0 buffer llama_model_load_from_file_impl: failed to load model common_init_from_params: failed to load model  'D:/llm/Model/bartowski/DeepSeek-R1-Distill-Qwen-32B-Q5_K_M.gguf' main: error: unable to load model`
`

直接就报错了。

4.为什么llama.cpp部署不了

到这里，相信你知道怎么选型了。

不过，既然我们已经知道了llama.cpp是Ollama的底层，那为什么llama.cpp的表现反而不如Ollama呢？这个就要说到Ollama自己做的一个优化了，也就是llama.cpp的ngl参数。用llama.cpp部署的时候ngl参数是写死的，而Ollama则是自己根据模型文件动态计算的ngl参数。

ngl参数的意思是将多少层加载到GPU去，我笔记本的GPU是4G显存，肯定不能将25G的DeepSeek加载进去的。因此llama.cpp的-ngl 100的用法肯定是不对的（100层基本就是全加载到GPU了），但是对于只有命令行的llama.cpp你也不好评估出-ngl应该取多少才能成功部署。

那Ollama是怎么做的呢？答案在Ollama的源码memory.go里面。这个文件里面的如下函数实现了根据模型计算ngl值的功能：

// Given a model and one or more GPU targets, predict how many layers and bytes we can load, and the total size``// The GPUs provided must all be the same Library``func EstimateGPULayers(gpus []discover.GpuInfo, f *ggml.GGML, projectors []string, opts api.Options) MemoryEstimate {`    `// Graph size for a partial offload, applies to all GPUs`    `var graphPartialOffload uint64`    `// Graph size when all layers are offloaded, applies to all GPUs`    `var graphFullOffload uint64`    `// Final graph offload once we know full or partial`    `var graphOffload uint64`    `...

限于篇幅我就没有完整列出这个代码了，感兴趣的可以自己看下。正是这个函数让Ollama动态的计算了ngl的值，从而做出了“87%加载到了CPU内存空间，13%加载到了GPU空间”的动作，最终成功部署DeepSeek-R1 32B的模型。实话实说，普通的笔记本能部署32B的模型真的是太强了，出乎意料。

5.效果