Qwen打包部署（大模型转换为 GGUF 以及使 用 ollama 运行）

大模型转换为 GGUF（linux环境）

1、将hf模型转换为GGUF

1.1 需要用llama.cpp仓库的convert_hf_to_gguf.py脚本来转换

git clone https://github.com/ggerganov/llama.cpp.git
pip install -r llama.cpp/requirements.txt

1.2 执行转换

# 如果不量化，保留模型的效果
python llama.cpp/convert_hf_to_gguf.py ./Meta-Llama-3-8B-Instruct --outtype f16
--verbose --outfile Meta-Llama-3-8B-Instruct-gguf.gguf
# 如果需要量化（加速并有损效果），直接执行下面脚本就可以
python llama.cpp/convert_hf_to_gguf.py ./Meta-Llama-3-8B-Instruct --outtype
q8_0 --verbose --outfile Meta-Llama-3-8B-Instruct-gguf_q8_0.gguf

这里--outtype是输出类型，代表含义：
q2_k：特定张量（Tensor）采用较高的精度设置，而其他的则保持基础级别。
q3_k_l、q3_k_m、q3_k_s：这些变体在不同张量上使用不同级别的精度，从而达到性能和效率的平衡。

q4_0：这是最初的量化方案，使用 4 位精度。

q4_1 和 q4_k_m、q4_k_s：这些提供了不同程度的准确性和推理速度，适合需要平衡资源使用的场景。

q5_0、q5_1、q5_k_m、q5_k_s：这些版本在保证更高准确度的同时，会使用更多的资源并且推理速度较
慢。

q6_k 和 q8_0：这些提供了最高的精度，但是因为高资源消耗和慢速度，可能不适合所有用户。

fp16 和 f32: 不量化，保留原始精度。

1.3 转换后的模型

2. 使用ollama运行gguf

2.1 安装ollama

curl -fsSL https://ollama.com/install.sh | sh

2.2 启动ollama服务

ollama serve

2.3 创建ModelFile

复制模型路径，创建名为“ModelFile”的meta文件，内容如下

#GGUF文件路径
FROM /root/autodl-tmp/Llama3-8B/LLM-Research/Meta-Llama-3-8B-Instruct-gguf8.gguf

2.4 创建自定义模型

使用ollama create命令创建自定义模型

ollama create llama-3-8B-Instruct --file ./ModelFile

2.5 运行模型：

ollama run llama-3-8B-Instruct

大模型转换为 GGUF（windows环境）

1、将hf模型转换为GGUF

1.1 需要用llama.cpp仓库的convert_hf_to_gguf.py脚本来转换

git clone https://github.com/ggerganov/llama.cpp.git
### 需要cd进入到llama.cpp/requirements.txt目录，然后在安装
pip install -r llama.cpp/requirements.txt

1.2 执行转换

# 如果不量化，保留模型的效果
python "D:\Program Files\python\PycharmProjects\AiStudyProject\demo07\llama.cpp\convert_hf_to_gguf.py" "D:\Program Files\python\PycharmProjects\AiStudyProject\demo07\models\Qwen\Qwen2___5-1___5B-Instruct-merge" --outtype f16 --verbose --outfile "D:\Program Files\python\PycharmProjects\AiStudyProject\demo07\models\Qwen\Qwen2___5-1___5B-Instruct-merge-gguf.gguf"

# 如果需要量化（加速并有损效果），直接执行下面脚本就可以
python llama.cpp/convert_hf_to_gguf.py ./Meta-Llama-3-8B-Instruct --outtype
q8_0 --verbose --outfile Meta-Llama-3-8B-Instruct-gguf_q8_0.gguf

python "D:\Program Files\python\PycharmProjects\AiStudyProject\demo07\llama.cpp\convert_hf_to_gguf.py" "D:\Program Files\python\PycharmProjects\AiStudyProject\demo07\models\Qwen\Qwen2___5-1___5B-Instruct-merge" --outtype q8_0 --verbose --outfile "D:\Program Files\python\PycharmProjects\AiStudyProject\demo07\models\Qwen\Qwen2___5-1___5B-Instruct-merge-ggufq8.gguf"

这里--outtype是输出类型，代表含义：
q2_k：特定张量（Tensor）采用较高的精度设置，而其他的则保持基础级别。
q3_k_l、q3_k_m、q3_k_s：这些变体在不同张量上使用不同级别的精度，从而达到性能和效率的平衡。

q4_0：这是最初的量化方案，使用 4 位精度。

q4_1 和 q4_k_m、q4_k_s：这些提供了不同程度的准确性和推理速度，适合需要平衡资源使用的场景。

q5_0、q5_1、q5_k_m、q5_k_s：这些版本在保证更高准确度的同时，会使用更多的资源并且推理速度较
慢。

q6_k 和 q8_0：这些提供了最高的精度，但是因为高资源消耗和慢速度，可能不适合所有用户。

fp16 和 f32: 不量化，保留原始精度。

1.3 转换后的模型

2. 使用ollama运行gguf

官网下载安装就行

2.2 启动ollama服务

双击就可以了

2.3 创建ModelFile

复制模型路径，在本地创建名为“ModelFile”的meta文件，内容如下

#GGUF文件路径
FROM "D:\Program Files\python\PycharmProjects\AiStudyProject\demo07\models\Qwen\Qwen2___5-1___5B-Instruct-merge-gguf.gguf"

2.4 创建自定义模型

使用ollama create命令创建自定义模型

ollama create qwen2.5-1.5B-Instruct --file "D:/Program Files/python/PycharmProjects/AiStudyProject/demo07/ModelFile"

如下图安装好了不量化的模型

量化的模型

ollama create qwen2.5-1.5B-Instruct-q8 --file "D:/Program Files/python/PycharmProjects/AiStudyProject/demo07/ModelFile"

同样查看一下

2.5 运行模型：

ollama run qwen2.5-1.5B-Instruct:latest
ollama run qwen2.5-1.5B-Instruct-q8:latest

2.6运行open-webui看效果

如图我们自己训练的大模型就有了