GGUF模型转换入门

一、定义

1 定义
2 案例
3. 模型转gguf

二、实现

1. 定义
   GGUF是一种大模型文件格式，由开发者Georgi Gerganov提出。
   这是一种针对大规模机器学习模型设计的二进制格式文件规范。它的主要优势在于能够将原始的大模型预训练结果经过特定优化后转换成这种格式，从而可以更快地被载入使用，并消耗更低的资源。
2. 案例
   GGUF 模型是为了方面模型在cpu 上加载 ，如果在gpu 上使用，则没有必要转换为gguf 格式。
   转换与模型加载 见llama-cpp模型轻量化部署与量化
   

cd llama.cpp
python convert-hf-to-gguf.py /home/LLaMA-Factory/megred-model-path --outfile /home/llama3-8b-chinese-GGUF/llama3-8b-chinese-v1.gguf

3. 模型转gguf
   借助llama.cpp 进行转换

# 如果不量化，保留模型的效果
python llama.cpp/convert_hf_to_gguf.py ./qwen2_0.5