在Linux服务器上部署阿里的qwq-32B模型

最新推荐文章于 2025-06-13 01:34:12 发布
最新推荐文章于 2025-06-13 01:34:12 发布
阅读量965 收藏 28
点赞数 17
文章标签： 服务器 linux 语言模型
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/StrangeStranger/article/details/147538175
版权

在Linux服务器上部署阿里的qwq-32B模型

一、查看系统配置

在服务器中，需要查看cpu，gpu和磁盘信息以选择合适的模型进行本地部署

查看cpu信息

用lscpu命令，查看的是cpu的统计信息，用cat /proc/cpuinfo命令，可以查看每个cpu信息，如每个CPU的型号，主频等，用free -m命令，可以查看内存的使用情况，使用cat /proc/meminfo 命令可以查看内存的详细使用，使用命令top可以实时查看每个cpu的使用情况

(llm) (base) llm@test-NF5468-A7-A0-R0-00:~$ lscpu
Architecture:             x86_64
  CPU op-mode(s):         32-bit, 64-bit
  Address sizes:          52 bits physical, 57 bits virtual
  Byte Order:             Little Endian
CPU(s):                   384
  On-line CPU(s) list:    0-383
Vendor ID:                AuthenticAMD
  Model name:             AMD EPYC 9654 96-Core Processor
    CPU family:           25
    Model:                17
    Thread(s) per core:   2
    Core(s) per socket:   96
    Socket(s):            2
    Stepping:             1
    Frequency boost:      enabled
    CPU max MHz:          3707.8120
    CPU min MHz:          1500.0000
    BogoMIPS:             4800.21

查看磁盘信息

采用lsblk可以查看硬盘和分区分布，采用fdisk -l可以查看硬盘和分区的详细信息

(llm) (base) llm@test-NF5468-A7-A0-R0-00:~$ lsblk
NAME        MAJ:MIN RM   SIZE RO TYPE MOUNTPOINTS
loop0         7:0    0     4K  1 loop /snap/bare/5
loop1         7:1    0  74.2M  1 loop /snap/core22/1122
loop2         7:2    0  73.9M  1 loop /snap/core22/1748
loop3         7:3    0   497M  1 loop /snap/gnome-42-2204/141
loop4         7:4    0 266.6M  1 loop /snap/firefox/3836
loop5         7:5    0  91.7M  1 loop /snap/gtk-common-themes/1535
loop6         7:6    0  12.3M  1 loop /snap/snap-store/959
loop7         7:7    0  40.4M  1 loop /snap/snapd/20671
loop8         7:8    0  44.4M  1 loop /snap/snapd/23545
loop9         7:9    0   568K  1 loop /snap/snapd-desktop-integration/253
loop10        7:10   0   452K  1 loop /snap/snapd-desktop-integration/83
sda           8:0    0   1.7T  0 disk 
├─sda1        8:1    0   512M  0 part /boot/efi
└─sda2        8:2    0   1.7T  0 part /var/snap/firefox/common/host-hunspell
                                      /
sdb           8:16   0  43.7T  0 disk 
└─sdb1        8:17   0  43.7T  0 part /data1
nvme0n1     259:0    0     7T  0 disk 
└─nvme0n1p1 259:1    0     7T  0 part /data2

查看gpu信息

使用命令nvidia-smi查看显卡的信息和使用情况，如果需要对显卡实时监控，使用watch -n 5 nvidia-smi命令，每隔5s刷新一次使用情况

(llm) (base) llm@test-NF5468-A7-A0-R0-00:~$ nvidia-smi
Fri Apr 25 11:36:37 2025       
+-----------------------------------------------------------------------------------------+
| NVIDIA-SMI 570.86.15              Driver Version: 570.86.15      CUDA Version: 12.8     |
|-----------------------------------------+------------------------+----------------------+
| GPU  Name                 Persistence-M | Bus-Id          Disp.A | Volatile Uncorr. ECC |
| Fan  Temp   Perf          Pwr:Usage/Cap |           Memory-Usage | GPU-Util  Compute M. |
|                                         |                        |               MIG M. |
|=========================================+========================+======================|
|   0  NVIDIA GeForce RTX 4090        Off |   00000000:01:00.0 Off |                  Off |
| 32%   29C    P8             25W /  450W |      73MiB /  49140MiB |      0%      Default |
|                                         |                        |                  N/A |
+-----------------------------------------+------------------------+----------------------+
|   1  NVIDIA GeForce RTX 4090        Off |   00000000:41:00.0 Off |                  Off |
| 32%   30C    P8             26W /  450W |      15MiB /  49140MiB |      0%      Default |
|                                         |                        |                  N/A |
+-----------------------------------------+------------------------+----------------------+
|   2  NVIDIA GeForce RTX 4090        Off |   00000000:81:00.0 Off |                  Off |
| 32%   30C    P8             20W /  450W |      15MiB /  49140MiB |      0%      Default |
|                                         |                        |                  N/A |
+-----------------------------------------+------------------------+----------------------+
|   3  NVIDIA GeForce RTX 4090        Off |   00000000:C1:00.0 Off |                  Off |
| 31%   31C    P8             30W /  450W |      15MiB /  49140MiB |      0%      Default |
|                                         |                        |                  N/A |
+-----------------------------------------+------------------------+----------------------+
                                                                                         
+-----------------------------------------------------------------------------------------+
| Processes:                                                                              |
|  GPU   GI   CI              PID   Type   Process name                        GPU Memory |
|        ID   ID                                                               Usage      |
|=========================================================================================|
|    0   N/A  N/A            6158      G   /usr/lib/xorg/Xorg                        4MiB |
|    0   N/A  N/A          253042      G   /usr/lib/xorg/Xorg                       48MiB |
|    1   N/A  N/A            6158      G   /usr/lib/xorg/Xorg                        4MiB |
|    2   N/A  N/A            6158      G   /usr/lib/xorg/Xorg                        4MiB |
|    3   N/A  N/A            6158      G   /usr/lib/xorg/Xorg                        4MiB |
+-----------------------------------------------------------------------------------------+

二、模型下载

使用镜像进行下载，先配置镜像的环境变量，并安装依赖

pip3 install -U huggingface_hub
export HF_ENDPOINT=https://hf-mirror.com

将以下内容写入download.py文件并运行，需要下载GGUF格式的模型参数，关于qwq模型更详细的信息可以参考这个网站: QwQ-32B-GGUF下载网址，可以看到满血模型的参数文件名对应的是fp16,所以采用allow_patterns = ["*fp16*"]下载满血模型，对应的要下载相应的量化模型则可以看里面的文件列表，例如下载4bit量化则采用allow_patterns = ["*q4_k_m*"]，但是采用量化版本的qwq模型性能下降严重，所以本文采用的是满血版本的模型

# Install Hugging Face dependencies before running this:
# pip install huggingface_hub hf_transfer

from huggingface_hub import snapshot_download
snapshot_download(
  repo_id = "Qwen/QwQ-32B-GGUF",
  local_dir = "QwQ-32B-GGUF", 
  allow_patterns = ["*fp16*"],
)

下载好后进入文件QwQ-32B-GGUF/fp16文件夹，运行du -sh ./*命令，查看下载下来的文件列表和所占用磁盘空间

(llm) llm@test-NF5468-A7-A0-R0-00:~/LLM-Model/QwQ-32B-GGUF$ du -sh ./*
62G     ./fp16
(llm) llm@test-NF5468-A7-A0-R0-00:~/LLM-Model/QwQ-32B-GGUF$ cd fp16/
(llm) llm@test-NF5468-A7-A0-R0-00:~/LLM-Model/QwQ-32B-GGUF/fp16$ du -sh ./*
3.7G    ./qwq-32b-fp16-00001-of-00017.gguf
3.7G    ./qwq-32b-fp16-00002-of-00017.gguf
3.7G    ./qwq-32b-fp16-00003-of-00017.gguf
3.7G    ./qwq-32b-fp16-00004-of-00017.gguf
3.7G    ./qwq-32b-fp16-00005-of-00017.gguf
3.7G    ./qwq-32b-fp16-00006-of-00017.gguf
3.7G    ./qwq-32b-fp16-00007-of-00017.gguf
3.7G    ./qwq-32b-fp16-00008-of-00017.gguf
3.7G    ./qwq-32b-fp16-00009-of-00017.gguf
3.7G    ./qwq-32b-fp16-00010-of-00017.gguf
3.7G    ./qwq-32b-fp16-00011-of-00017.gguf
3.7G    ./qwq-32b-fp16-00012-of-00017.gguf
3.7G    ./qwq-32b-fp16-00013-of-00017.gguf
3.7G    ./qwq-32b-fp16-00014-of-00017.gguf
3.7G    ./qwq-32b-fp16-00015-of-00017.gguf
3.7G    ./qwq-32b-fp16-00016-of-00017.gguf
2.9G    ./qwq-32b-fp16-00017-of-00017.gguf

三、模型部署运行

模型的部署运行参考的网址为deepseek-r1部署教程，这里我们部署的是qwq模型，所以会有些许不同

Screen命令

在部署运行模型之前，先了解下Screen命令，它的功能大体有3个

  • 会话恢复：只要Screen本身没有终止，在其内部运行的会话都可以恢复。这一点对于远程登录的用户特别有用——即使网络连接中断，用户也不会失去对已经打开的命令行会话的控制。只要再次登录到主机上执行screen -r就可以恢复会话的运行。同样在暂时离开的时候，也可以执行分离命令detach，在保证里面的程序正常运行的情况下让Screen挂起（切换到后台）。这一点和图形界面下的VNC很相似。
  • 多窗口：在Screen环境下，所有的会话都独立的运行，并拥有各自的编号、输入、输出和窗口缓存。用户可以通过快捷键在不同的窗口下切换，并可以自由的重定向各个窗口的输入和输出。
  • 会话共享：Screen可以让一个或多个用户从不同终端多次登录一个会话，并共享会话的所有特性（比如可以看到完全相同的输出）。它同时提供了窗口访问权限的机制，可以对窗口进行密码保护。
apt install screen # 安装screen
screen -ls # 查看已经创建的窗口
screen -S Hello # 创建一个叫Hello的虚拟终端
# 使用-S创建和直接输入screen创建的虚拟终端，不会检录之前创建的screen（也就是会创建同名的screen)
screen -R Hello 
# 使用-R创建，如果之前有创建唯一一个同名的screen，则直接进入之前创建的screen
screen -r [pid/name] # 回到主终端
exit # 退出终端
screen -R [pid/Name] -X quit

# 按Ctrl+a，再按d，即可保持这个screen到后台并回到主终端

运行Llama.cpp

用Llama.cpp程序部署大模型，首先先安装Llama.cpp，可以下载已经装在好的程序Download the prebuilt binaries，也可以下载源码自己编译，这里采用第二种方案，编译运行方案如下：

git clone https://github.com/ggml-org/llama.cpp
cd llama.cpp
# 编译CPU版本
# cmake -B build
# cmake --build build --config Release -j 8

# 编译GPU版本，编译英伟达GPU版本需要先装好驱动和CUDA
cmake -B build -DGGML_CUDA=ON -DGGML_CUDA_ENABLE_UNIFIED_MEMORY=1
cmake --build build --config Release -j 8

# 编译完成后，可执行文件和库文件被存放在build/bin目录下

进入编译好的llama.cpp/build/bin文件下，用screen命令打开并运行llama服务器，之后就可以在http://127.0.0.1:10000上访问模型并进行对话

(llm) llm@test-NF5468-A7-A0-R0-00:~/llama.cpp/build/bin$ pwd
/home/llm/llama.cpp/build/bin
(llm) llm@test-NF5468-A7-A0-R0-00:~/llama.cpp/build/bin$ screen -R llama-server
[screen is terminating]
./llama-server \
    --model /home/llm/LLM-Model/QwQ-32B-GGUF/fp16/qwq-32b-fp16-00001-of-00017.gguf \
    --port 12631 \
    --ctx-size 0 \
    --n-gpu-layers 999 \
    --parallel 10
Llama参数详解

这是Llama-server命令的详细文档：(Llama-server文档)[https://github.com/ggml-org/llama.cpp/blob/master/examples/server/README.md]
主要的参数有以下几个：

  • -c, --ctx-size N: 提示上下文的大小（默认值：4096,0 = 从模型加载）
  • -np, --parallel N: 并发数（默认值： 1）
  • -m, --model FNAME: 模型路径
  • –host HOST: 要侦听的 IP 地址（默认值：127.0.0.1）
  • –port PORT: 要侦听的端口（默认值：8080）（
  • –no-webui: 禁用Web UI （默认： enabled）
  • -ngl, --gpu-layers, --n-gpu-layers N: 要加载到GPU内存中的层数
在阿里云实例上部署通义千问QwQ-32B推理模型
互联网架构师笔记
04-29 644
通义千问QwQ-32B是阿里云开源的320亿参数推理模型，通过大规模强化学习在数学推理、编程及通用任务中实现性能突破，支持消费级显卡本地部署，兼顾高效推理与低资源消耗。本文将介绍如何利用vLLM作为通义千问QwQ-32B模型的推理框架，在一台阿里云GPU实例上构建通义千问QwQ-32B的推理服务。在GPU实例上部署通义千问QwQ-32B模型，需要提前在该实例上安装GPU驱动且驱动版本应为550及以上版本，建议您通过ECS控制台购买GPU实例时，同步选中。
阿里云 QwQ-32B 模型调研文档
agito_cheung的博客
03-09 570
QwQ-32B 是阿里云开源的轻量化大语言模型，以320 亿参数实现与 DeepSeek-R1（6710 亿参数）相当的推理性能。参数效率：1/20 参数量达成竞品性能，显存需求降低 70%部署灵活性：支持消费级硬件（如双 RTX 4090 或 Mac 设备）本地运行开源生态：可通过 Ollama 等工具快速部署，适配企业与个人开发者场景。
Linux纯CPU环境部署运行大模型实践
weixin_42458975的博客
06-06 3953
介绍在单台linux系统电脑，纯CPU运行环境下部署运行大模型的三种方式，基于ollama工具，lame.cpp工具和transformers方式加载运行。总体来说，三种方式都较为方便，并且在资源和性能平衡上给出建议，非常适合初学者上手实践。
一文读懂：如何在本地部署阿里巴巴大语言模型QwQ-32B——环境搭建、实操步骤
硅基创想家的博客
03-10 2425
是否曾想过在自己的本地机器上运行一个强大的语言模型？现在为你介绍阿里巴巴最新且最强大的大语言模型QwQ-32B。无论你是开发者、研究人员，还是只是一个好奇的技术爱好者，在本地运行QwQ-32B都能为你开启一个充满可能性的世界——从构建定制的人工智能应用程序，到进行先进的自然语言处理任务实验。 在本指南中，我们将一步一步地指导你完成整个过程。我们将使用**Ollama**和**LM Studio**等工具，使设置尽可能顺畅。
【LLM大模型】谷歌AI杰玛Gemma大模型开源了！附2个本地部署安装教程和实例
pythonhy的博客
08-07 1402
Gemma 是一个轻量级、先进的开放模型系列，采用与创建 Gemini 模型相同的研究和技术构建而成。Gemma 由 Google DeepMind 和 Google 的其他团队开发，以拉丁语 gemma（意为“宝石”）命名，中文名杰玛。Gemma 模型权重由促进创新、协作和负责任地使用人工智能 (AI) 的开发者工具提供支持。
阿里的QwQ-32B部署，需要选择什么样的服务器配置？
u011250186的博客
05-08 207
阿里的QwQ-32B部署，需要选择什么样的服务器配置？
保姆级教程：QwQ-32B星海云上实战！颠覆认知！32B模型比肩671B DeepSeek
weixin_39787913的博客
03-07 1522
阿里开源QwQ-32B模型，性能媲美671B DeepSeek！本教程教你在星海智算平台快速部署，单台4090D即可运行。体验高效AI，快来尝试！
阿里QwQ-32B本地部署方案（含安全设置）
2501_90882596的博客
03-07 5619
今日凌晨，阿里发布最新的推理模型QwQ-32B。这是一款拥有 320 亿参数的模型，其性能可与具备 6710 亿参数（其中 370 亿被激活）的 DeepSeek-R1 媲美。
分钟快速部署阿里QwQ-32B：体验秒出响应的极致快感！
m0_63171455的博客
04-12 1135
真的特别需要，尤其是对于我这种每天对接各种群各种需求消息回不完的人——仔细看一下这份。
保姆级教程：阿里QwQ-32B模型本地部署与企业级应用实战（附万字指南+工具链）
资深全栈架构师，乐于在 CSDN 分享技术见解，与大家携手共进，共攀技术巅峰！
03-07 1179
验证API（curl http://localhost:8000）克隆仓库（git clone https://...）安装依赖（CUDA 12.1 + cuDNN）启动服务（python server.py）数据来源：阿里开源文档[[4]][[6]]下载模型权重（ModelScope）
QwQ-32B-GGUF模型部署
NDF923的专栏
04-01 1171
由于硬件只有两张4090卡，但是领导还想要满血版32b的性能，那就只能部署GGUF版。据说QwQ-32B比Deepseek-R1-32b要更牛逼一些，所以就选择部署QwQ-32B-GGUF，根据最终的测试--针对长文本（3-5M大小）的理解，QwQ-32B-GGUF确实要比Deepseek-R1-32b-GGUF好一些。是阿里官方发布的原始模型，通常以 PyTorch 权重文件（如.bin或）形式存储，需依赖深度学习框架（如 Hugging Face Transformers）加载。
2025最新QwQ-32B模型使用教程：从部署到实战，手把手教你玩转AI推理模型（附保姆级指南）
资深全栈架构师，乐于在 CSDN 分享技术见解，与大家携手共进，共攀技术巅峰！
03-07 2218
QwQ-32B是阿里巴巴推出的最新推理模型，仅用320亿参数，性能媲美671B参数的DeepSeek-R1。它在数学、编程和通用能力方面表现卓越，支持多模态任务和Agent相关能力，能够根据环境反馈动态调整策略。QwQ-32B不仅是AI技术的突破，更是推理模型的典范。无论是数学、编程还是逻辑推理，它都能帮你高效完成任务。立即行动，下载模型并加入开发者社区，开启你的AI推理之旅！👉 关注作者并私信“QwQ教程”获取全套案例代码与资源包！#QwQ32B #AI推理模型 #保姆级教程 #2025趋势。
QwQ-32B一键部署！真正的0代码，0脚本，0门槛
DEVELOPERAA的博客
03-06 1905
阿里云系统运维管理（OOS）的公共扩展功能为您提供了一键部署OpenWebUI+Ollama的便捷方案，让您轻松部署QwQ-32B模型到阿里云ECS。另外，您也可以连接阿里云百炼的QwQ-32B在线模型，本文也将提供详细的解决方案！
ai之qwq 32B部署在 linux 与拓展使用在web参考
DevangLic Blog
03-09 314
2 将Ollama设置为系统启动时自动运行（建议）创建系统用户和用户组。
Ubuntu 24.04 LTS 长期支持版发布：对服务器用户意味着什么？新特性、升级建议与性能影响初探
Clownseven的博客
06-10 1175
深入剖析Ubuntu 24.04 LTS (Noble Numbat) 对服务器用户的影响，涵盖Linux 6.8内核、新工具链等特性，并提供从22.04升级的专业建议与性能初探。
如何诊断服务器硬盘故障?出现硬盘故障如何处理比较好?
2409_89014517的博客
06-11 935
如何诊断服务器硬盘故障?出现硬盘故障如何处理比较好?
【Linux】Linux磁盘与链接
最新发布
Antonio915的博客
06-13 568
磁盘存储与管理是计算机系统的重要组成部分。本文介绍了磁盘的基本结构、分区与格式化原理，以及Linux系统中的文件管理机制。 磁盘由多个同心圆磁道组成，数据以扇区为单位存储。为便于管理，磁盘被分区并格式化为Block Group结构，包含超级块、块组描述符、inode位图和数据区等组件。每个文件通过唯一的inode编号标识，存储属性和数据块位置信息。 软硬链接是Linux文件系统的特色功能。软链接类似快捷方式，存储目标文件路径，可以跨文件系统；硬链接则共享inode节点，删除源文件后数据仍可访问。通过stat
AIStor 的模型上下文协议 (MCP) 服务器：管理功能
MinIO
06-11 597
本文介绍了如何通过MinIO AIStor的模型上下文协议（MCP）服务器结合大语言模型（LLM）来增强集群管理功能。MCP服务器能够将复杂的命令行输出转化为易理解的摘要、健康状态报告和数据可视化图表，显著提升了管理员和普通用户的操作效率。例如，用户可以通过自然语言查询获取集群状态、数据分布和对象版本控制信息，LLM还能自动生成表格和饼图等可视化内容。此外，文章强调了MCP服务器的多层级安全设计，包括默认只读模式和管理权限控制，确保功能与安全性兼顾。这种结合LLM的智能管理方式不仅简化了操作流程，还为集群管
vllm部署qwq-32b模型
03-20
嗯，用户想了解如何部署qwq-32b模型到VLLM平台上。首先，我需要回忆一下VLLM的基本知识。VLLM是一个高效推理和部署框架，支持大规模语言模型，特别是优化了自回归模型的推理速度。那部署模型的一般步骤是什么呢？...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值