(Qwen)通义千问大模型安装部署教程2024最新

1.简介（摘自modelscope/通义千问1.5-0.5B-Chat-GGUF）

Qwen1.5 是 Qwen2 的测试版，Qwen2 是一种基于 Transformer 的纯解码器语言模型，在大量数据上进行了预训练。与之前发布的 Qwen 相比，改进包括：

• 6 种型号尺寸，包括 0.5B、1.8B、4B、7B、14B 和 72B;
• 人类对聊天模型的偏好显著提高;
• 对基本模型和聊天模型的多语言支持;
• 稳定支持 32K 上下文长度，适用于各种尺寸的模型
• 不需要 trust_remote_code .

注意：本教程基于Ubuntu系统，其他系统请遵循语法使用。

2.部署通义千问1.5-0.5B-Chat-GGUF流程

2.1下载模型代码

下载代码地址:魔搭社区

附上代码:

from modelscope.hub.file_download import model_file_download
 	
model_dir = model_file_download(model_id='qwen/Qwen1.5-0.5B-Chat-GGUF',file_path='qwen1_5-0_5b-chat-q5_k_m.gguf',revision