如何将SafeTensors模型转换为GGUF格式

如何将SafeTensors模型转换为GGUF格式

在这篇文章中，我将指导你如何将Hugging Face的SafeTensors模型转换为GGUF格式，以便在ollama平台上运行。这个过程包括克隆llama.cpp仓库、设置Python环境、安装依赖包，以及执行转换脚本。让我们一步步来完成这个过程。

第一步：克隆llama.cpp仓库

首先，你需要获取llama.cpp项目。你可以通过两种方式来做到这一点：

1. 使用git命令克隆仓库：

   git clone https://github.com/ggerganov/llama.cpp.git
   

2. 或者，直接从GitHub下载zip压缩包。

两种方法都可以，选择你觉得最方便的一种即可。

第二步：设置Python虚拟环境

如果你使用的是conda，可以创建一个虚拟环境来运行convert_hf_to_gguf.py脚本。这个脚本的作用是将Hugging Face的模型文件转换成GGUF格式。

创建虚拟环境的命令如下：

conda create -n myenv