使用 MacBook Pro M1 16G 运行 Llama 2 7B (Apple Silicon 通用方法)

原文地址: 使用 MacBook Pro M1 16G 运行 Llama 2 7B (Apple Silicon 通用方法)

这篇文章用于记录我在 MacBook Pro M1 16G 中配置 Llama 2 7B 环境的全流程。这一方法适用于所有 Apple Silicon 系列，为未来运行更大模型的设备提供参考。

PS：得益于 Mac 的统一内存，我们可以将内存作为显存使用，使大模型的本地部署成为了可能。如今 Apple Silicon 拥有完善的 LLM 生态，llama.cpp 项目让我们能在 Mac GPU 上运行 Llama 2，这也成为目前性价比最高的大模型运行方案。期待在 M3 时代，Apple Silicon 在 AI 领域取得进一步发展。

 

测试环境：

macOS 14.0

Miniforge 创建的 Python 3.10.0 (也可以使用 Miniconda)

Chinese-Alpaca-2-7B

 

以下是详细步骤：

进入终端，使用 conda 创建全新的虚拟环境

conda create -n llama python=3.10

激活虚拟环境

conda activate llama

将 llama.cpp 拉到本地

git clone https://github.com/ggerganov/llama.cpp.git

切换到 llama.cpp 目