通义千问大模型安装部署教程2024

 一、Qwen1.5-0.5B-Chat-GGUF

1.简介

Qwen1.5 是 Qwen2 的测试版，Qwen2 是一种基于 Transformer 的纯解码器语言模型，在大量数据上进行了预训练。与之前发布的 Qwen 相比，改进包括：

6 种型号尺寸，包括 0.5B、1.8B、4B、7B、14B 和 72B;

人类对聊天模型的偏好显著提高;

对基本模型和聊天模型的多语言支持;

稳定支持 32K 上下文长度，适用于各种尺寸的模型；

不需要 trust_remote_code .

---

2.部署过程

2.1 平台选择  

在此次实验中，选择魔搭平台使用阿里云账号中免费CPU云计算资源，主要操作在终端命令中执行。

2.2模型下载与部署

模型下载访问

https://www.modelscope.cn/models/qwen/Qwen1.5-0.5B-Chat-GGUF/summary  

通过链接地址下载download_model.py(最好建立专属文件夹)，然后在终端中输入以下代码，注意cache_dir改变为py文件所在路径，本次使用的是“home"

 from modelscope.hub.file_download import model_file_download

model_dir = model_file_download(model_id='qwen/Qwen1.5-0.5B-ChatGGUF',file_path='qwen1_5-0_5b-chatq5_k_m.gguf&#