本地快速推断的语言模型比较：Apple MLX、Llama.cpp与Hugging Face Candle Rust

最新推荐文章于 2025-03-09 21:08:51 发布

XianxinMao

最新推荐文章于 2025-03-09 21:08:51 发布

阅读量2.1k

点赞数 15

文章标签：语言模型人工智能自然语言处理

本文链接：https://blog.csdn.net/XianxinMao/article/details/144866812

版权

本地快速推断的语言模型比较：Apple MLX、Llama.cpp与Hugging Face Candle Rust

在自然语言处理（NLP）部署中，推断速度是一个关键因素，尤其是对于支持大型语言模型（LLM）的应用来说。随着Apple M1芯片等新移动架构的兴起，评估LLMs在这些平台上的性能显得尤为重要。本文将对三种流行的LLM库——Apple MLX、Llama.cpp和Hugging Face的Candle Rust进行比较，重点关注它们在Apple M1芯片上的推断和生成速度。

主要库

1. Apple MLX

MLX是为Apple硅优化的机器学习框架，旨在既用户友好，又高效地训练和部署模型。用户可以通过Python的包管理工具pip轻松安装MLX：

pip install mlx

生成文本可以通过安装mlx-lm包来实现：

pip install mlx-lm

之后，可以使用以下代码来加载模型并生成文本：

from mlx_lm import load, generate

model, tokenizer = load("mistralai/Mistral-7B-v0.1")
response = generate(model, tokenizer, prompt="hello", verbose=True)

GGUF支持

MLX支持GGUF格式，该格式为快速加载和保存模型而设计。用户可通过安装依赖库并利用Python脚本运行模型实现生成任务。

2. Llama.cpp

Llama.cpp库的主要目标是通过4位整数量化在MacBook上运行LLaMA模型。用户可以通过以下步骤开始使用：

git clone https://github.com/ggerganov/llama.cpp
cd llama.cpp
make

3. Hugging Face Candle Rust

Candle是一个轻量级的机器学习框架，专为Rust设计，关注性能和易用性。用户需要首先安装Cargo：

curl https://sh.rustup.rs -sSf | sh

然后，可以通过git克隆Candle库：

git clone https://github.com/huggingface/candle.git

实验模型

在本实验中，选择了两种先进的LLM模型：Mistral-7B和Phi-2，分别进行对比测试。

Mistral-7B

Q4 GGUF: 使用GGUF格式以加快推断过程。
4-bit: 权重表示采用4位，从而减少内存占用。

Phi-2

Q4 GGUF: 与Mistral-7B采用相似的结构，提供有效的量化训练。
4-bit: 同样采用4位权重，优化存储需求。

性能评估

在实验过程中，我们测量了各种库在不同任务中的生成速度。整体实验配置使用了搭载M1芯片的Apple MacBook，配备16GB统一内存。

结果分析

对于Mistral-7B的Q4 GGUF配置，实验表明Llama.cpp在生成速度上优于其他库：

Llama.cpp: 11 tokens/秒
Candle Rust: 7–8 tokens/秒
MLX: 3–4 tokens/秒

对于Phi-2的实验结果：

Coding Tasks:
- Llama.cpp: 25 tokens/秒
- MLX (4-bit): 43 tokens/秒
- Candle Rust: 8.6 tokens/秒
Non-coding Tasks:
- Llama.cpp: 28 tokens/秒
- MLX (4-bit): 85 tokens/秒
- Candle Rust: 14 tokens/秒