必看！各系统用 llama.cpp 实现 safetensors 转 gguf 格式攻略

在大语言模型的应用中，文件格式转换常常是解锁更多功能与优化性能的关键步骤。今天，就来给大家详细讲讲如何在各个系统下，借助 llama.cpp 将 safetensors 格式转为 gguf 格式，让你的模型使用更加高效便捷。​

一、了解转换的前置条件​

在开始转换之前，确保你已经安装好了 llama.cpp 项目。你可以从它的GitHsub 仓库下载。此外，不同系统下的环境准备略有不同：​

• Windows 系统：需要安装好 Visual Studio，确保有 C++ 编译环境。同时，要安装 Python 环境，用于运行转换脚本，建议安装 Python 3.11 及以上版本。​

• Mac 系统：系统自带的 Xcode Command Line Tools 中包含了基本的编译环境。同样需要安装 Python 环境，可通过 Homebrew 等包管理器进行安装。​

• Linux 系统：确保安装了 GCC 等编译工具，Python 环境也是必备的，一般系统默认安装的 Python 版本即可满足要求。​

二、转换工具与脚本​

llama.cpp 项目中提供了用于格式转换的脚本。对于将 safetensors 转为 gguf 格式，主要会用到convert-hf-to-gguf.py脚本 。这个脚本的作用是读取模型配置、分词器、张量名称和数据，然后将它们转换为 GGUF 元数据和张量。你可以在下载好的 llama.cpp 项目目录中找到这个脚本。​

三、各系统下的具体转换步骤​

Windows 系统​

1. 准备工作：解压下载好的 llama.cpp 项目压缩包，进入项目目录。打开命令提示符（CMD），进入到 llama.cpp 项目所在路径。​

1. 运行转换：假设你的 safetensor 模型文件存放在C:\models\my_model.safetensors，运行以下命令：​

取消自动换行复制
python convert-hf-to-gguf.py C:\models\my_model.safetensors output.gguf​

这里output.gguf是你自定义的转换后 GGUF 格式的文件名，你可以根据自己的需求修改。在运行过程中，如果提示缺少某些依赖库，按照提示使用pip install命令安装即可。​

Mac 系统​

1. 打开终端：通过访达找到 llama.cpp 项目文件夹，右键点击选择 “在终端中打开”。​

1. 赋予脚本执行权限：运行命令chmod +x convert-hf-to-gguf.py，确保脚本可执行。​

1. 执行转换：若 safetensor 模型位于/Users/yourusername/models/my_model.safetensors，则执行以下命令：​

取消自动换行复制
./convert-hf-to-gguf.py /Users/yourusername/models/my_model.safetensors output.gguf​

同样，output.gguf可自行命名。转换过程中若遇到问题，比如权限不足等，按照系统提示进行相应调整。​

Linux 系统​

1. 进入项目目录：使用cd命令进入到 llama.cpp 项目所在目录。​

1. 执行转换：假设 safetensor 模型在/home/user/models/my_model.safetensors，执行命令：​

取消自动换行复制
python3 convert-hf-to-gguf.py /home/user/models/my_model.safetensors output.gguf​

在一些系统中，Python 命令可能是python3，请根据实际情况调整。若转换过程中出现依赖问题，使用包管理器安装相应依赖，如apt-get install或yum install等。​

四、转换后的检查与使用​

转换完成后，你可以在指定的输出路径找到生成的 GGUF 格式文件。可以通过一些工具或模型推理框架来验证转换后的文件是否可用。例如，在 llama.cpp 项目中，你可以使用相关的推理命令来加载转换后的 GGUF 模型进行测试。比如在命令行中运行：​

取消自动换行复制
./main -m output.gguf -p "你的测试问题"​

如果能正常得到模型的回答，说明转换成功，你现在就可以在相应系统中高效使用这个 GGUF 格式的模型啦。​

通过以上步骤，无论你使用的是 Windows、Mac 还是 Linux 系统，都能顺利地使用 llama.cpp 将 safetensor 格式转换为 gguf 格式，为模型的使用带来更多便利与优化。赶紧动手试试吧！​