开发者Day 0上手指南：使用vLLM Ascend 部署 Qwen3

大模型老炮

于 2025-04-30 20:02:37 发布

阅读量589

点赞数 5

文章标签： Qwen3 程序员 Agent MCP AI大模型大模型大模型入门

本文链接：https://blog.csdn.net/2401_85375151/article/details/147639284

版权

今天阿里巴巴推出了全新一代Qwen大语言模型，在多个方面对Qwen系列进行了升级。其中主要包含2个版本：

Qwen3，包括Qwen3-0.6B, Qwen3-1.7B, Qwen3-4B, Qwen3-8B
Qwen3-MoE，包括Qwen3-MoE-15B-A2B、Qwen3-30B-A3B、Qwen3-235B-A22B

Qwen3 是 Qwen 系列的最新一代大型语言模型，提供了一系列密集型和专家混合（MoE）模型。

vLLM于4月中旬正式发布了v0.8.4版本，其中包括对Qwen3最新结构的支持，vLLM社区的vLLM Ascend团队随即同步发布v0.8.4rc1版本完成了跟进和适配。

Qwen3发布后，vLLM Ascend在第一时间完成Qwen3模型验证，并发布v0.8.4rc2版本，这意味着您现在就可以使用 vLLM在昇腾设备上完成 Qwen3 推理。

快速体验Qwen3

体验之前，您需确认固件/驱动已正确安装，可运行如下命令确认：

npu-smi info

您可以使用如下命令，一键拉起vLLM Ascend容器镜像：

# Update DEVICE according to your device (/dev/davinci[0-7])export DEVICE=/dev/davinci0# Update the vllm-ascend imageexport IMAGE=quay.io/ascend/vllm-ascend:v0.8.4rc2docker run --rm \--name vllm-ascend \--device $DEVICE \--device /dev/davinci_manager \--device /dev/devmm_svm \--device /dev/hisi_hdc \-v /usr/local/dcmi:/usr/local/dcmi \-v /usr/local/bin/npu-smi:/usr/local/bin/npu-smi \-v /usr/local/Ascend/driver/lib64/:/usr/local/Ascend/driver/lib64/ \-v /usr/local/Ascend/driver/version.info:/usr/local/Ascend/driver/version.info \-v /etc/ascend_install.info:/etc/ascend_install.info \-v /root/.cache:/root/.cache \-p 8000:8000 \-it $IMAGE bash

进入容器环境后，使用ModelScope平台进行下载加速：

export VLLM_USE_MODELSCOPE=true

在线推理：您可以使用vLLM + vLLM Ascend一键部署在线推理服务：

vllm serve Qwen/Qwen3-8B

服务启动后，您可以通过curl请求来进行内容生成：

curl http://localhost:8000/v1/completions \-H "Content-Type: application/json" \-d '{"model": "Qwen/Qwen3-8B", "prompt": "The future of AI is", "max_tokens": 5,  "temperature": 0}' | python3 -m json.tool

离线推理：您也可以使用可使用vLLM + vLLM Ascend进行离线推理。

以下是example.py的示例：

from vllm import LLM, SamplingParamsprompts = ["Hello, my name is","The future of AI is",]# Create a sampling params object.sampling_params = SamplingParams(temperature=0.8, top_p=0.95)# Create an LLM.llm = LLM(model="Qwen/Qwen3-8B")# Generate texts from the prompts.outputs = llm.generate(prompts, sampling_params)for output in outputs:    prompt = output.prompt    generated_text = output.outputs[0].text    print(f"Prompt: {prompt!r}, Generated : {generated_text!r}")

运行以上脚本即可使用vLLM + vLLM Ascend进行推理:

# export VLLM_USE_MODELSCOPE=true to speed up download if huggingface is not reachable.python example.py

推理结果如下图：

如何学习AI大模型？

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。