Qwen 是阿里巴巴集团 Qwen 团队的大型语言模型和大型多模态模型系列,现在大型语言模型已经升级到 Qwen1.5 版本。GpuMall智算云 | 省钱、好用、弹性。租GPU就上GpuMall,面向AI开发者的GPU云平台
无论是语言模型还是多模态模型,都在大规模的多语言和多模态数据上进行了预训练,并在优质数据上进行了后训练,以符合人类偏好。Qwen 具备自然语言理解、文本生成、视觉理解、音频理解、工具使用、角色扮演、扮演 AI 代理等功能。
GpuMall智算云 | 省钱、好用、弹性。租GPU就上GpuMall,面向AI开发者的GPU云平台https://gpumall.com/image-details?shareImageId=SIMGu6xqeY8OK5ai&comment
最新版本 Qwen1.5 具有以下特点:#autodl#恒源云#矩池云#算力云#恒源云 实例迁移#autodl 官网#autodi#GpuMall#GPU云#AutoDL#AotuDL 算力云#GpuMall智算云#AI#大数据#算力租赁#大模型#深度学习#人工智能#算力变现
- 拥有 6 种模型尺寸,包括 0.5B、1.8B、4B、7B、14B 和 72B;
- 每种尺寸都有基础模型和聊天模型,聊天模型符合人类偏好;
- 基础模型和聊天模型均支持多语言;
- 稳定支持所有尺寸模型的 32K 上下文长度;
- 支持工具使用、RAG、角色扮演和扮演 AI 代理。
1. 选择 Qwen1.5-1.8B-Chat 镜像创建实例
选择高可用云
2. 通过 JupyterLab 登陆实例
打开终端
3. 拷贝模型到实例数据盘
实例数据盘扩容后通过如下命令将Qwen1.5-1.8B-Chat
模型拷贝至数据盘
cd /gm-data/
time cp -rf /gm-models/Qwen1.5/Qwen1.5-1.8B-Chat ./
5. 通过 vLLM 部署模型
通过如下指令来部署模型
python -m vllm.entrypoints.openai.api_server --host 0.0.0.0 --port 8000 --gpu-memory-utilization 0.9 --max-model-len 8192 --model /gm-data/Qwen1.5-1.8B-Chat --tensor-parallel-size 1
1
参数说明:
--host 0.0.0.0 #vLLM监听的IP地址
--port 8000 #vLLM监听的端口
--gpu-memory-utilization 0.9 #占用GPU显存比例,值为 0-1之间,值越高占用显存越多
--max-model-len 29856 #上下文长度
--model /gm-data/Qwen1.5-1.8B-Chat #模型文件位置
--tensor-parallel-size 1 #指定1张卡运行,如果有2张卡则写为2,以此类推
1
2
3
4
5
6
6. curl命令调用 vLLM 接口
curl http://localhost:8000/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{"model": "/gm-data/Qwen1.5-1.8B-Chat", "messages": [{"role": "system", "content": "你是一个乐于助人的助手"}, {"role": "user", "content": "告诉我一些关于大模型的事情"}]}'
7. 使用Python调用 vLLM 接口
需先安装openai
库
pip install openai
1
from openai import OpenAI
# Set OpenAI's API key and API base to use vLLM's API server.
openai_api_key = "EMPTY"
openai_api_base = "http://localhost:8000/v1"
client = OpenAI(
api_key=openai_api_key,
base_url=openai_api_base,
)
chat_response = client.chat.completions.create(
model="/gm-data/Qwen1.5-1.8B-Chat",
messages=[
{"role": "system", "content": "你是一个乐于助人的助手"},
{"role": "user", "content": "告诉我一些关于大模型的事情"},
]
)
print("Chat response:", chat_response)