(Qwen)通义千问大模型安装部署教程2024最新

1.简介(摘自modelscope/通义千问1.5-0.5B-Chat-GGUF)

Qwen1.5 是 Qwen2 的测试版,Qwen2 是一种基于 Transformer 的纯解码器语言模型,在大量数据上进行了预训练。与之前发布的 Qwen 相比,改进包括:

  • 6 种型号尺寸,包括 0.5B、1.8B、4B、7B、14B 和 72B;
  • 人类对聊天模型的偏好显著提高;
  • 对基本模型和聊天模型的多语言支持;
  • 稳定支持 32K 上下文长度,适用于各种尺寸的模型
  • 不需要 trust_remote_code .

注意:本教程基于Ubuntu系统,其他系统请遵循语法使用。

2.部署通义千问1.5-0.5B-Chat-GGUF流程

2.1下载模型代码

下载代码地址:魔搭社区

附上代码:

from modelscope.hub.file_download import model_file_download
 	
model_dir = model_file_download(model_id='qwen/Qwen1.5-0.5B-Chat-GGUF',file_path='qwen1_5-0_5b-chat-q5_k_m.gguf',revision='master',cache_dir='path/to/local/dir')

用jupyter notebook运行代码,或者在命令行中使用python download_model.py 来运行代码。

2.2下载llama.cpp

使⽤git命令克隆llama.cpp项⽬

git clone https://github.com/ggerganov/llama.cpp

克隆完成之后我们进入llama.cpp目录中,对项目进行编译

cd llama.cpp
make -j
2.3加载模型并运行
./main -m /mnt/workspace/home/llm/qwen/Qwen1.5-0.5B-Chat-GGUF/qwen1_5-0_5b-chatq5_k_m.gguf -n 512 --color -i -cml

提醒:此处需要注意将模型的地址换为你自己的文件地址,否则将无法找到模型。

等待片刻后,模型成功加载,如果需要退出,请按Ctrl+C。

接下来我们对部署的模型进行对话测试:

 

上图为已部署的通义千问1.5-0.5B-Chat-GGUF模型对话测试

3.部署Qwen2.openvino流程

 1.环境配置

首先到github去下载安装需要的文件,附github链接

GitHub - OpenVINO-dev-contest/Qwen2.openvino: This sample shows how to deploy Qwen2 using OpenVINO

下载

  • requirements.txt
  • chat.py
  • convert.py
接着,我们创建Python的虚拟环境,在Ubuntu的命令行中输入
python -m venv qwenVenv
source qwenVenv/bin/activate

当我们的命令行语句前出现:(qwenVenv)时,代表已经创建好。

最后安装依赖的包,此时requirements.txt文件被使用。

pip install wheel setuptools
pip install -r requirements.txt

这时,基本的环境已经配置完成。

2.模型下载

配置镜像服务器来加快下载速度

export HF_ENDPOINT=https://hf-mirror.com

下载模型

huggingface-cli download --resume-download --local-dir-use-symlinks False Qwen/Qwen1.5-0.5B-Chat --
local-dir {your_path}/Qwen1.5-0.5B-Chat

此时,Qwen1.5-0.5B-Chat已经被部署好。

3.转换模型

python3 convert.py --model_id Qwen/Qwen1.5-0.5B-Chat --precision int4 --output {your_path}/Qwen1.5-
0.5B-Chat-ov

4.加载模型

python3 chat.py --model_path {your_path}/Qwen1.5-0.5B-Chat-ov --max_sequence_length 4096 --device CPU

5.对话测试

4.结语

本教程是基于大连理工大学软件学院教授 胡燕所编写的实验教程所编写,如有错误,恳请指出。

  • 10
    点赞
  • 15
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 5
    评论
评论 5
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

bigorangefzc

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值