LLM实践系列-昇腾910B上进行Qwen2.5推理

最新推荐文章于 2025-03-31 14:50:38 发布
最新推荐文章于 2025-03-31 14:50:38 发布
阅读量6.3k 收藏 18
点赞数 25
文章标签： 人工智能 AI-native 1024程序员节 知识图谱 语言模型
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xx_nm98/article/details/143441550
版权

现在做toB项目，被问的最多的就是支不支持国产化。现在一般用的最多的也是华为昇腾系列显卡。

今天给大家带来一篇利用GPUStack框架在昇腾910B上进行Qwen2.5推理部署的实战。

配置昇腾环境

确认昇腾 NPU 驱动已安装：

npu-smi info

根据架构下载对应的 CANN Toolkit 包（开发套件）和对应芯片的 Kernel 包（CANN 算子 https://www.hiascend.com/zh/software/cann/community-history） ：

wget https://ascend-repo.obs.cn-east-2.myhuaweicloud.com/Milan-ASL/Milan-ASL%20V100R001C19SPC703/Ascend-cann-toolkit_8.0.RC3.alpha003_linux-aarch64.run   wget https://ascend-repo.obs.cn-east-2.myhuaweicloud.com/Milan-ASL/Milan-ASL%20V100R001C19SPC703/Ascend-cann-kernels-910b_8.0.RC3.alpha003_linux-aarch64.run

安装 Toolkit，按提示操作：

sudo sed -i 's/user=true/user=false/' ~/.pip/pip.conf   sudo chmod +x Ascend-cann-toolkit_8.0.RC3.alpha003_linux-aarch64.run && sudo ./Ascend-cann-toolkit_8.0.RC3.alpha003_linux-aarch64.run --install --install-for-all

安装 Kernel，按提示操作：

sudo chmod +x Ascend-cann-kernels-910b_8.0.RC3.alpha003_linux-aarch64.run && sudo ./Ascend-cann-kernels-910b_8.0.RC3.alpha003_linux-aarch64.run --install --install-for-all

配置环境变量：

sudo echo "source /usr/local/Ascend/ascend-toolkit/set_env.sh" >> /etc/profile   source /usr/local/Ascend/ascend-toolkit/set_env.sh

昇腾环境已经配置完成，接下来准备运行 Qwen 2.5 模型的私有大模型服务平台。

安装 GPUStack

GPUStack是一个开源的大模型即服务平台，支持 Nvidia、Apple Metal、华为昇腾和摩尔线程等各种类型的GPU/NPU，可以在昇腾 910B 上运行包括Qwen 2.5在内的各种大模型，安装步骤如下。

通过以下命令在昇腾 NPU 服务器上在线安装 GPUStack，在安装过程中需要输入 sudo 密码：

curl -sfL https://get.gpustack.ai | sh -

如果环境连接不了 GitHub，无法下载一些二进制文件，使用以下命令安装，用 --tools-download-base-url 参数指定从腾讯云对象存储下载：

curl -sfL https://get.gpustack.ai | sh - --tools-download-base-url "https://gpustack-1303613262.cos.ap-guangzhou.myqcloud.com"

当看到以下输出时，说明已经成功部署并启动了 GPUStack：

[INFO]  Install complete.      GPUStack UI is available at http://localhost.   Default username is 'admin'.   To get the default password, run 'cat /var/lib/gpustack/initial_admin_password'.      CLI "gpustack" is available from the command line. (You may need to open a new terminal or re-login for the PATH changes to take effect.)

接下来按照脚本输出的指引，拿到登录 GPUStack 的初始密码，执行以下命令：

cat /var/lib/gpustack/initial_admin_password

在浏览器访问 GPUStack UI，用户名 admin，密码为上面获得的初始密码。

重新设置密码后，进入 GPUStack：

纳管昇腾 NPU 资源

GPUStack支持纳管 Linux、Windows 和 macOS 设备的 GPU 资源，如果有多台昇腾 NPU 服务器，通过以下步骤来纳管这些 NPU 资源。

其他节点需要通过认证 Token 加入 GPUStack 集群，在 GPUStack Server 节点执行以下命令获取 Token：

cat /var/lib/gpustack/token

拿到 Token 后，在其他节点上运行以下命令添加 Worker 到 GPUStack，纳管这些节点的 NPU（将其中的 http://YOUR_IP_ADDRESS 替换为 GPUStack 访问地址，将 YOUR_TOKEN 替换为用于添加 Worker 的认证 Token）：

curl -sfL https://get.gpustack.ai | sh - --server-url http://YOUR_IP_ADDRESS --token YOUR_TOKEN --tools-download-base-url "https://gpustack-1303613262.cos.ap-guangzhou.myqcloud.com"

纳管的昇腾 NPU 服务器资源如下：

在这里插入图片描述

部署Qwen 2.5模型

在GPUStack的模型菜单中部署模型。GPUStack支持从 HuggingFace、Ollama Library、ModelScope 和私有模型仓库部署模型，国内网络建议从 ModelScope 部署。

GPUStack 支持 vLLM 和 llama-box 推理后端，llama-box 是 llama.cpp 的优化版本，对性能和稳定性进行了针对性的优化。目前 GPUStack 中基于 llama-box 提供对昇腾 NPU 的支持，在昇腾 NPU 上部署模型需要模型为 GGUF 格式。

从 ModelScope 部署 Qwen 2.5 的全系列模型，目前 CANN 算子的支持完整度方面还有不足，目前只能运行 FP16 精度、Q8_0 和Q4_0 量化的模型，建议运行 FP16 精度的模型：

  • Qwen2.5-0.5B-Instruct-GGUF FP16

  • Qwen2.5-1.5B-Instruct-GGUF FP16

  • Qwen2.5-3B-Instruct-GGUF FP16

  • Qwen2.5-7B-Instruct-GGUF FP16

  • Qwen2.5-14B-Instruct-GGUF FP16

  • Qwen2.5-32B-Instruct-GGUF FP16

  • Qwen2.5-72B-Instruct-GGUF FP16

来看其中 Qwen2.5-72B 模型的具体运行情况，Qwen2.5-72B 被调度到 3 块 910B 上运行：

在 Dashboard 可以看到 Qwen 2.5 72B 被分配了 140.1 GiB 显存和 8.1 GiB 内存：

从 Playground 的实际测试来看，使用 llama-box 在昇腾 910B 上运行 Qwen 2.5 72B 的推理性能表现为 6 Tokens/s 左右，NPU 利用率在 10~30%左右：

以下为 Qwen 2.5 全系列模型在昇腾 910B 上的推理性能表现汇总数据，包括 Qwen2.5 0.5B、1.5B、3B 的 Q8_0 和Q4_0 量化的推理性能数据作为对比参考：

ModelTokens / SecondNPU UtilNPU MemNPU Card（64G/Card）
Qwen2.5 0.5B FP1642 tokens/secondUtil 6~7%Mem 7%单卡
Qwen2.5 1.5B FP1635 tokens/secondUtil 11~13%Mem 10%单卡
Qwen2.5 3B FP1629 tokens/secondUtil 15~16%Mem 15%单卡
Qwen2.5 7B FP1632 tokens/secondUtil 16~21%Mem 16%单卡
Qwen2.5 14B FP1619 tokens/secondUtil 19~22%Mem 28%单卡
Qwen2.5 32B FP1610.5 tokens/secondUtil 10~45%Mem 54%双卡
Qwen2.5 72B FP166 tokens/secondUtil 10~60%Mem 78%三卡
Qwen2.5 0.5B Q8_06.5 tokens/secondUtil 2~5%Mem 6%单卡
Qwen2.5 0.5B Q4_06 tokens/secondUtil 4~5%Mem 6%单卡
Qwen2.5 1.5B Q8_03.5 tokens/secondUtil 4~11%Mem 8%单卡
Qwen2.5 1.5B Q4_017~18 tokens/secondUtil 9~12%Mem 7%单卡
Qwen2.5 3B Q8_03.2 tokens/secondUtil 10~15%Mem 10%单卡
Qwen2.5 3B Q4_014.5 tokens/secondUtil 8~15%Mem 8%单卡

对其中的 Qwen 2.5 0.5B FP16 模型进行并发测试的性能表现如下：

ConcurrencyTokens / SecondThroughputNPU UtilNPU Mem
139 tokens/second39Util 6~7%Mem 7%
238 tokens/second76Util 6~7%Mem 7%
337.66 tokens/second113Util 6~7%Mem 7%
434.25 tokens/second137Util 6~7%Mem 7%
531 tokens/second155Util 6~7%Mem 7%
628.16 tokens/second169Util 6~7%Mem 7%
727.57 tokens/second193Util 6~7%Mem 7%
826.87 tokens/second215Util 6~7%Mem 7%
926 tokens/second234Util 6~7%Mem 7%
1026.9 tokens/second269Util 6~7%Mem 7%
2020.3 tokens/second406Util 6~7%Mem 8%
5010.34 tokens/second517Util 3~5%Mem 8%
1004.17 tokens/second417Util 2~5%Mem 9%

从测试结果来看，目前硬件性能未得到充分发挥，CANN 算子优化方面还有可观的优化空间。也可以等 GPUStack 的 vLLM 高性能后端后续对昇腾 NPU 的支持。

以上就是使用GPUStack在昇腾910B上运行Qwen2.5模型，简单式的傻瓜操作。

GPUStack 功能介绍

  • 异构 GPU 支持：支持异构 GPU 资源，当前支持 Nvidia、Apple Metal、华为昇腾和摩尔线程等各种类型的 GPU/NPU

  • 多推理后端支持：支持 vLLM 和 llama-box (llama.cpp) 推理后端，兼顾生产性能需求与多平台兼容性需求

  • 多平台支持：支持 Linux、Windows 和 macOS 平台，覆盖 amd64 和 arm64 架构

  • 多模型类型支持：支持 LLM 文本模型、VLM 多模态模型、Embedding 文本嵌入模型 和 Reranker 重排序模型等各种类型的模型

  • 多模型仓库支持：支持从 HuggingFace、Ollama Library、ModelScope 和私有模型仓库部署模型

  • 丰富的自动/手动调度策略：支持紧凑调度、分散调度、指定 Worker 标签调度、指定 GPU 调度等各种调度策略

  • 分布式推理：如果单个 GPU 无法运行较大的模型，可以通过 GPUStack 的分布式推理功能，自动将模型运行在跨主机的多个 GPU 上

  • CPU 推理：如果没有 GPU 或 GPU 资源不足，GPUStack 可以用 CPU 资源来运行大模型，支持 GPU&CPU 混合推理和纯 CPU 推理两种 CPU 推理模式

  • 多模型对比：GPUStack 在 Playground 中提供了多模型对比视图，可以同时对比多个模型的问答内容和性能数据，以评估不同模型、不同权重、不同 Prompt 参数、不同量化、不同 GPU、不同推理后端的模型 Serving 效果

  • GPU 和 LLM 观测指标：提供全面的性能、利用率、状态监控和使用数据指标，以评估 GPU 和 LLM 的利用情况

GPUStack 作为一个开源项目，只需要非常简单的安装设置，就可以开箱即用地构建企业私有大模型即服务平台。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述

第一阶段（10天）：初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。

  • 大模型 AI 能干什么？
  • 大模型是怎样获得「智能」的？
  • 用好 AI 的核心心法
  • 大模型应用业务架构
  • 大模型应用技术架构
  • 代码示例：向 GPT-3.5 灌入新知识
  • 提示工程的意义和核心思想
  • Prompt 典型构成
  • 指令调优方法论
  • 思维链和思维树
  • Prompt 攻击和防范
  • …

第二阶段（30天）：高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习，学会构造私有知识库，扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架，抓住最新的技术进展，适合 Python 和 JavaScript 程序员。

  • 为什么要做 RAG
  • 搭建一个简单的 ChatPDF
  • 检索的基础概念
  • 什么是向量表示（Embeddings）
  • 向量数据库与向量检索
  • 基于向量检索的 RAG
  • 搭建 RAG 系统的扩展知识
  • 混合检索与 RAG-Fusion 简介
  • 向量模型本地部署
  • …

第三阶段（30天）：模型训练

恭喜你，如果学到这里，你基本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。

到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？

  • 为什么要做 RAG
  • 什么是模型
  • 什么是模型训练
  • 求解器 & 损失函数简介
  • 小实验2：手写一个简单的神经网络并训练它
  • 什么是训练/预训练/微调/轻量化微调
  • Transformer结构简介
  • 轻量化微调
  • 实验数据集的构建
  • …

第四阶段（20天）：商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。

  • 硬件选型
  • 带你了解全球大模型
  • 使用国产大模型服务
  • 搭建 OpenAI 代理
  • 热身：基于阿里云 PAI 部署 Stable Diffusion
  • 在本地计算机运行大模型
  • 大模型的私有化部署
  • 基于 vLLM 部署大模型
  • 案例：如何优雅地在阿里云私有部署开源大模型
  • 部署一套开源 LLM 项目
  • 内容安全
  • 互联网信息服务算法备案
  • …

学习是一个过程，只要学习就会有挑战。天道酬勤，你越努力，就会成为越优秀的自己。

如果你能在15天内完成所有的任务，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名大模型 AI 的正确特征了。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

在这里插入图片描述

昇腾，Ascend，NPU，mindie，镜像，部署vllm：第4篇，尝试多模态大模型部署（Qwen2-vl）
xiezhipu的博客
02-10 1469
一直想部署一个多模态大模型，今天就以Qwen2-vl为例尝试一番吧。（当然是在昇腾环境下）提示：需要把这篇文章先看一遍昇腾，mindie，镜像，部署vllm：第2篇，启动mindieservice_daemon服务，支持对Qwen2.5的7B版本的推理提示：本文章的撰写思路是，按照一个思路进行部署，报错，并反思，并解决。所以不太适合直接上来就跟着一步一步做。建议看完全文，再根据自己的理解做。
华为NPU服务器昇腾Ascend 910B2部署通义千问Qwen2.5——基于mindie镜像一路试错版（一）
xiezhipu的博客
12-03 4332
NPU（Neural Processing Unit，神经网络处理单元）是一种专门设计用于加速机器学习尤其是深度学习算法的硬件处理器。随着人工智能技术的发展，特别是深度学习模型变得越来越复杂和庞大，传统的CPU和GPU在处理这些任务时遇到了效率和能耗上的瓶颈。因此，针对深度学习算法的特点优化的专用芯片——NPU应运而生。NPU的核心优势在于它能够高效地执行矩阵运算、卷积操作等深度学习中的基本计算任务。这使得NPU可以在图像识别、语音识别、自然语言处理等领域提供比传统处理器更高的性能和更低的功耗。
昇腾910b部署qwen-7b-chat进行流式输出【pytorch框架】NPU推理
懒惰是科技进步的原始动力
01-10 7734
解决报错'torch_npu._C._NPUDeviceProperties' object has no attribute 'major' 解决报错call aclnnEmbedding failed, detail:EZ1001: weight not implemented for DT_BFLOAT16, should be in dtype support list [DT_DOUBLE,DT_FLOAT,DT_FLOAT16,DT_INT64,DT_INT32,DT_INT16,DT_INT8
DeepSeek专栏3：vLLM×DeepSeek部署指南（鲲鹏+昇腾）
openEuler_的博客
02-22 2239
上期介绍了在鲲鹏 CPU+NVIDIA GPU上部署DeepSeek的流程，本期将会继续介绍在鲲鹏 CPU+昇腾 NPU上通过vLLM框架来部署DeepSeek。
AI 芯片深度解析：从英伟达 A100 到昇腾 910B 的技术跃迁与国产突围
weixin_47231119的博客
03-14 1839
在生成式 AI 与大模型浪潮的推动下，全球算力需求正以每 3.5 个月翻倍的速度增长。作为算力基础设施的核心载体，AI 芯片已成为科技竞争的战略制高点。本文将深入剖析英伟达 A100/A800/H800 与华为昇腾 910B 等主流芯片的技术特性及产业影响。
在华为昇腾 910B 上进行阿里大模型 Qwen2.5 推理
2301_78285120的博客
11-03 4294
异构 GPU 支持：支持异构 GPU 资源，当前支持 Nvidia、Apple Metal、华为昇腾和摩尔线程等各种类型的 GPU/NPU多推理后端支持：支持vLLM和推理后端，兼顾生产性能需求与多平台兼容性需求多平台支持：支持 Linux、Windows 和 macOS 平台，覆盖 amd64 和 arm64 架构多模型类型支持：支持 LLM 文本模型、VLM 多模态模型、Embedding 文本嵌入模型 和 Reranker 重排序模型等各种类型的模型多模型仓库支持。
昇腾910B部署Qwen2-7B-Instruct进行流式输出【pytorch框架】NPU推理
懒惰是科技进步的原始动力
07-05 5394
昇腾适配Qwen2系列模型，包含Qwen1.5系列模型
【智算卡】华为昇腾910B与英伟达GPU全方位技术对比及产品线差异解析
沐风—云端行者
03-13 4318
昇腾910B通过架构革新（达芬奇3.0）、能效优化（动态电压频率调整）和全栈自主生态，在推理场景和特定训练任务中已实现对A100的局部超越。其细分型号（如910B3B/910B4B）的差异化设计，展现了华为在场景化定制与国产供应链整合上的战略纵深。随着昇腾910C（FP16算力1200 TFLOPS）的即将量产，国产AI芯片有望进一步缩小与H100的差距。
GPU 进阶笔记（二）：华为昇腾 910B GPU
热门推荐
hao_wujing的专栏
12-30 4万+
！
LLM训推适配-[昇腾910B]-大模型量化推理-qwen2-72B
09-04 1825
大模型量化
华为NPU服务器昇腾Ascend 910B2部署通义千问Qwen2.5——基于mindie镜像一路试错版（三）
xiezhipu的博客
12-04 3009
这是咱这个系列的第三个文章了。毕竟，这是我好几天摸索出的经验，能帮助各位在几个小时内领会，我觉得也算是我的功劳一件了。所以，一是希望大家耐心看下去，耐心操作下去；制作不易，多谢大家了。华为NPU服务器昇腾Ascend 910B2部署通义千问Qwen2.5——基于mindie镜像一路试错版（一）华为NPU服务器昇腾Ascend 910B2部署通义千问Qwen2.5——基于mindie镜像一路试错版（二）
主流开源大模型基于Server适配PyTorch NPU推理指导- 推理场景介绍
2403_89344729的博客
11-28 1581
本教程需要使用到的AscendCloud-6.3.910中的AscendCloud-LLM-xxx.zip软件包和算子包AscendCloud-OPP，AscendCloud-LLM关键文件介绍如下。├── ascend_autosmoothquant_adapter # 昇腾量化使用的算子模块。├── ascend_vllm-0.6.0-py3-none-any.whl # 推理安装包。├── vllm_install.patch # 社区昇腾适配的补丁包。
大模型国产化适配11-LLM训练性能基准测试（昇腾910B3）
强化学习曾小健
07-17 2002
训练性能在本文指机器（GPU、NPU或其他平台）在指定模型和输入数据的背景下，完成一次端到端训练所需要花费的时间，考虑到不同模型的训练数据量和训练轮次（epoch）差异，此处定义的性能是在完成一个batch训练所需花费的时间。而端到端通常是指完成一个AI模型单步训练的过程。也就是说，本文所讨论的性能的衡量和性能的优化，都是站在模型角度上。单batch总时间 = 数据加载时间 +模型前反向时间 + 优化器时间 + 模型后处理时间+ 通信时间 + 调度时间数据加载时间。
华为Atlas Duo 300I DUO推理卡 部署LLM推理服务
weixin_37447415的博客
10-29 9617
本文是在Atlas Duo 300I 推理卡上部署LLM推理服务的一次尝试，完整的安装文档参考。安装过程中遇到问题可以在社区提问，目前该推理卡对新模型的支持不是太好，且实测下来性能不及3090（吐槽：显存虚报，标记48GB实际只有44GB；算力140TFLOAPS，但推理速度只有3090的1/3）。如果用于大模型训练或推理，直接使用910。安装的流程为：step1：安装驱动和固件step2：安装cannstep3：安装mindIE由于物理安装比较麻烦，官方提供了。
华为昇腾服务器+Atlas300IPro*2 部署Dify+MindIE+Embedding+Rerank实现Qwen2.5-7B全国产化的大模型推理平台
深蓝
09-20 9938
华为昇腾服务器+Atlas300IPro*2 部署Dify+MindIE+Embedding+Rerank实现Qwen2.5-7B全国产化的大模型推理平台。
基于昇腾MindIE开箱部署Qwen2.5-VL-32B，体验更聪明的多模态理解能力
最新发布
2401_87243659的博客
03-31 1307
昇腾MindIE已适配支持Qwen2.5-VL-32B-Instruct并上架魔乐社区，欢迎广大开发者下载体验！
华为昇腾910B1基于 LoRA 的 Qwen2.5-7B-Instruct 模型微调
懒惰是科技进步的原始动力
01-16 927
LLaMA Factory × 昇腾910B1 × Qwen2.5 × Lora
LLM训推适配-[昇腾910B]-qwen2.5精度测试+高效推理
10-17 3880
昇腾部署qwen2.5大模型，以及相关适配验证。
鲲鹏服务器+昇腾卡（Atlas 300I pro）搭建DeepSeek-R1-Distill-Qwen-7B（自己存档详细版）
mizhiakk的博客
02-13 8939
鲲鹏服务器+昇腾卡（Atlas 300I pro）搭建DeepSeek-R1-Distill-Qwen-7B（自己存档详细版）
qwen2.5-14b本地部署
01-07
### Qwen2.5-14B 模型本地部署方法 #### 下载并安装模型资源 为了在本地环境中成功部署 Qwen2.5-14B-Instruct 模型，需先通过 Python 的包管理工具 `pip` 来获取该模型的相关文件。具体操作如下所示： ```bash pip install git+https://huggingface.co/Qwen/Qwen2.5-14B-Instruct ``` 此命令会自动处理依赖关系并将所需库安装到当前环境之中[^1]。 #### 配置 API 服务器启动参数 当准备就绪之后，可以通过 VLLM 提供的服务端口来运行这个大型语言模型实例。下面是一组推荐配置选项用于启动服务进程： ```bash python -m vllm.entrypoints.openai.api_server \ --model /path/to/local/model/Qwen2.5-14B-Instruct-GPTQ-Int8 \ --trust-remote-code \ --enforce-eager \ --max-model-len 256 \ --tensor-parallel-size 2 \ --dtype float16 \ --quantization gptq \ --port 8001 \ --host 0.0.0.0 ``` 这里需要注意的是 `/path/to/local/model/` 应替换为实际存储路径；而其他参数则可以根据硬件条件和个人需求适当调整[^3]。 #### 使用示例代码调用接口 完成上述设置后，即可编写简单的客户端脚本来测试新搭建好的 LLM 接口是否正常工作。Python 示例代码片段如下： ```python import requests url = "http://localhost:8001/v1/completions" headers = {"Content-Type": "application/json"} data = { "prompt": "你好", "max_tokens": 50, } response = requests.post(url, headers=headers, json=data) print(response.json()) ``` 这段程序将会向刚刚建立起来的服务发送 HTTP POST 请求，并打印出由 Qwen2.5-14B 所生成的回答内容。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值