本地部署Qwen2.5 Coder模型+自建API调用接口

PCND-Starry

已于 2024-11-13 21:49:16 修改

阅读量9k

点赞数 33

分类专栏： AI部署文章标签： python AI编程人工智能

于 2024-11-12 21:51:11 首次发布

本文链接：https://blog.csdn.net/2403_83055029/article/details/143724967

版权

Qwen 2.5 Coder模型部署与应用

1. Qwen 2.5 Coder：你的AI编程闺蜜

各位码农们,准备好迎接你的新编程伙伴了吗?Qwen 2.5 Coder来了!这个由阿里巴巴达摩院精心打造的AI编程助手,不仅能帮你生成代码,还能查漏补缺、推理如流。它就像是你的编程闺蜜,懂你、懂代码,还不会嫌弃你的咖啡口气。

1.1 Qwen 2.5 Coder的超能力

多语言支持: Qwen 2.5 Coder支持40多种编程语言。无论你是Python狂热粉,还是JavaScript痴迷者,它都能陪你玩得飞起。
代码生成: 只需给它一个简单的提示,它就能为你生成完整的函数、类,甚至是整个程序。就像是给了魔法师一根魔杖,然后 - 嘣!代码就出来了。
代码补全: 写到一半卡壳了?别担心,Qwen 2.5 Coder会接着你的思路往下写。它就像是能读懂你心思的编程通灵师。
代码修复: 发现bug了但不知道怎么修?Qwen 2.5 Coder可以帮你诊断问题并提供修复方案。它就是你的私人代码医生。
代码解释: 看不懂别人的代码?让Qwen 2.5 Coder为你解释。它就像是代码世界的翻译官,能把晦涩难懂的代码翻译成人话。

1.2 为什么选择Qwen 2.5 Coder?

性能卓越: 在多个代码生成基准测试中,Qwen 2.5 Coder的表现可以用"秒杀"来形容。它不仅能写代码,还能写得又快又好。
持续学习: Qwen 2.5 Coder不断学习最新的编程技术和最佳实践。用它就像每天都有一个最新版的编程百科全书。
开源免费: 是的,你没看错。这么厉害的AI助手,竟然是开源免费的。这大概是程序员界最好的免费午餐了。

好了,介绍完Qwen 2.5 Coder的超能力,我们该开始正式的部署之旅了。系好安全带,准备好你的键盘和咖啡,让我们开始部署吧。

2. 准备工作：给Qwen 2.5 Coder安个温馨小窝

在我们在部署过程之前,让我们先为Qwen 2.5 Coder准备一个舒适的环境。

2.1 硬件要求：不是所有的电脑都能驾驭这位大神

GPU: NVIDIA A100 40GB或更高。是的,Qwen喜欢豪华的"大床"。如果你只有一张普通的游戏显卡,可能会让Qwen睡得不太舒服。
CPU: 至少4核。Qwen不是很挑剔,但如果你给她一个双核处理器,她可能会觉得有点"喘不上气"。
内存: 最少8GB,推荐16GB或更高。因为Qwen喜欢在内存里跳舞,给她足够的空间让她尽情舞动吧。

感谢Rainyun提供服务器支持
国内4H8G服务器低至45￥/月
Rainyun已有超过五年运营经验，超过30,000个网站在Rainyun运行

2.2 软件环境：Qwen的口味有点挑

操作系统: Ubuntu 20.04 LTS或更高版本。Windows用户别慌,虚拟机欢迎你。或者,你可以考虑给电脑装个双系统,让Qwen住在Ubuntu里。
Python: 3.8或更高版本。因为Qwen觉得3.7太"老气横秋"了。
CUDA: 11.3或更高版本。没错,就是那个让你的显卡燃起来的东西。
cuDNN: 与CUDA版本匹配的版本。就像袜子要配鞋子一样重要。

2.3 环境配置：给Qwen铺张温暖的小床

首先,让我们更新一下系统,就像给Qwen打扫房间一样：

 sudo apt update && sudo apt upgrade -ysudo apt update && sudo apt upgrade -y

接下来,安装必要的系统依赖,就像给Qwen准备生活必需品：

 sudo apt install -y build-essential cmake unzip pkg-configsudo apt install -y build-essential cmake unzip pkg-config
sudo apt install -y libxmu-dev libxi-dev libglu1-mesa libglu1-mesa-dev
sudo apt install -y libjpeg-dev libpng-dev libtiff-dev
sudo apt install -y libavcodec-dev libavformat-dev libswscale-dev libv4l-dev
sudo apt install -y libxvidcore-dev libx264-dev
sudo apt install -y libopenblas-dev libatlas-base-dev liblapack-dev gfortran
sudo apt install -y libhdf5-serial-dev
sudo apt install -y python3-dev python3-pip python3-venv

现在,让我们为Qwen创建一个舒适的小窝(虚拟环境)：

 python3 -m venv qwen_envpython3 -m venv qwen_env
source qwen_env/bin/activate

安装PyTorch,就像给Qwen准备一张舒适的大床：

 pip install torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/cu113pip install torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/cu113

最后,安装其他必要的Python库,就像给Qwen的房间添加家具：

 pip install transformers modelscope flask requests numpy scipypip install transformers modelscope flask requests numpy scipy

验证一下是否安装成功,就像检查Qwen是否睡得舒服：

 python -c "import torch; print(torch.cuda.is_available())"python -c "import torch; print(torch.cuda.is_available())"

如果输出为True,恭喜你!Qwen已经躺在舒适的小床上,准备大展身手了。

3. 迎接Qwen 2.5 Coder：把AI大神请回家

3.1 从Hugging Face接Qwen回家

首先,安装git-lfs,就像准备一辆豪华轿车去接Qwen：

 sudo apt-get install git-lfssudo apt-get install git-lfs

然后,克隆模型仓库,就像把Qwen接到你家门口：

 git lfs installgit lfs install
git clone https://huggingface.co/Qwen/Qwen2.5-Coder-7B

最后,在Python中加载模型,就像邀请Qwen进入你的代码世界：

 from transformers import AutoTokenizer, AutoModelForCausalLMfrom transformers import AutoTokenizer, AutoModelForCausalLM

model_path = "./Qwen2.5-Coder-7B"
tokenizer = AutoTokenizer.from_pretrained(model_path)
model = AutoModelForCausalLM.from_pretrained(model_path).to("cuda")

3.2 从ModelScope接Qwen回家

如果你更喜欢ModelScope,那就这样做：

 pip install modelscopepip install modelscope

然后在Python中加载模型：

 from modelscope.models import Modelfrom modelscope.models import Model

model = Model.from_pretrained("Qwen/Qwen2.5-Coder-7B", device_map="auto")

4. 让Qwen为你服务：搭建本地API

4.1 创建Flask应用：给Qwen一个舞台

首先,创建一个项目目录,就像给Qwen准备一个专属办公室：

 mkdir qwen_apimkdir qwen_api
cd qwen_api

然后,创建app.py文件,这就是Qwen的剧本：

 touch app.pytouch app.py

现在,用你最喜欢的文本编辑器(vim还是nano?别争了,选你顺手的就行)编辑app.py文件,添加以下内容：

 import osimport os
from flask import Flask, request

最低0.47元/天解锁文章