KeyarchOS(KOS)+VLLM部署deepseek推理服务

最新推荐文章于 2025-07-25 09:43:31 发布
原创 最新推荐文章于 2025-07-25 09:43:31 发布 · 705 阅读 · 14 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#linux #ai #语言模型

目录

1 概述

2 环境准备

3 部署安装

3.1 安装docker

3.2 下载vllm镜像

3.3 下载deepseek模型到本地服务器

3.4 运行vllm容器

3.5 运行deepseek推理服务

3.6 访问推理服务

1 概述

浪潮信息KOS是浪潮信息基于Linux Kernel、OpenAnolis等开源技术自主研发的一款服务器操作系统，支持x86、ARM等主流架构处理器，性能和稳定性居于行业领先地位，具备成熟的 CentOS 迁移和替换能力，可满足云计算、大数据、分布式存储、人工智能、边缘计算等应用场景需求。详细介绍见官网链接https://www.ieisystem.com/kos/product-kos-xq.thtml?id=12126

vLLM是一种用于大规模语言模型（LLM）推理的框架，旨在提高模型的吞吐量和降低延迟。vLLM通过优化内存管理和调度策略，显著提升了模型在高并发场景下的性能。vLLM利用了一种名为PagedAttention的注意力机制，该机制借鉴了虚拟内存和分页技术，以减少缓存内存（KV Cache）的浪费，并允许在请求之间灵活共享KV缓存。这种设计使得vLLM在保持与现有系统相同延迟水平的情况下，能够将吞吐量提高2到4倍。官方网址：https://www.vllm.ai

2 环境准备

操作系统版本：KOS 5.8 sp2u1(5.10.134-17.2.2.kos5.x86_64)

测试架构：x86_64，96核1TB物理机

显卡：NVIDIA Tesla V100s * 2

3 部署安装

3.1 安装docker

执行yum install docker –y 安装docker服务

执行systemctl start docker启动docker服务

3.2 下载vllm镜像

执行 docker pull vllm/vllm-openai:latest

可能会遇到下载失败或者速度较慢的情况，推荐使用国内源下载，例如：

docker pull docker.1ms.run/vllm/vllm-openai:latest

最低0.47元/天 解锁文章
deepseek r1 量化版本 Vllm 部署运行
AI天才研究院
02-04 6775
如需进一步了解其他工具（如 Ollama 或 LMStudio）的部署方法，可参考相关文档：。
docker-vllm运行大模型
玲听鑫声的博客
04-29 1073
执行下载docker pull docker.1ms.run/vllm/vllm-openai。vllm/vllm-openai - Docker Image - 毫秒镜像。如遇到如下问题，可在启动命令上增加 --privileged。vllm镜像下载，国内代理源。--gpus 使用卡数。
内网环境使用Docker部署Qwen2模型-vLLM篇
u012374012的专栏
09-09 6111
在此之前，我们已成功利用Docker与Ollama框架，在内网环境中部署了Qwen2模型。下面我们再来看一下使用Docker与vLLM框架部署Qwen2模型。
Docker&vLLM官方镜像部署DeepSeek模型，在生产环境中提供类OpenAI接口服务。.zip
05-15
Docker&vLLM官方镜像部署DeepSeek模型，在生产环境中提供类OpenAI接口服务。.zip
Linux环境下使用vLLM部署本地大模型
剑飞的架构思维
02-07 7271
通过以上步骤，您可以在Linux环境下成功部署vLLM并运行大模型服务。在实际操作中，可能需要根据具体的vLLM版本和模型文件进行调整和优化。后续的步骤3和步骤4将依赖于该服务进行测试，因此请务必不要关闭此终端窗口。下载成功后，模型文件会保存在./model/qwen2_5-1_5b-instruct文件夹下。本课程实验环境需与微调章节保持一致，确保在GPU环境下执行模型部署操作。如果你希望在后台持续运行服务而不受终端窗口关闭的影响，可以使用这条命令。下载开源模型进行部署，暂不在此演示。
使用vllm部署DeepSeek-R1-Distill-Qwen-1.5B
xuebodx0923的博客
02-02 8663
是伯克利大学LMSYS组织开源的大语言模型高速推理框架，旨在极大地提升实时场景下的语言模型服务的吞吐与内存使用效率。也正是因为如此，DeepSeek R1价格非常便宜，每100万个输出tokens 2.19美元，而 OpenAI o1 则需要60美元，DeepSeek R1便宜 96.4%，性能却不相上下，完全就是逆风翻盘。推出国产大模型DeepSeek-V3和DeepSeek-R1。由于硬件的限制，我们下面用vllm部署了一个最小的模型DeepSeek-R1-Distill-Qwen-1.5B。
windows本地部署vllm,运行deepseek大模型
zxhy0123的博客
02-28 1万+
windows本地部署vllm,加载大模型
KOS+VLLM测试deepseek基准性能
最新发布
SGY_GF的博客
07-25 919
浪潮信息KOS是浪潮信息基于Linux Kernel、OpenAnolis等开源技术自主研发的一款服务器操作系统，支持x86、ARM等主流架构处理器，性能和稳定性居于行业领先地位，具备成熟的 CentOS 迁移和替换能力，可满足云计算、大数据、分布式存储、人工智能、边缘计算等应用场景需求。详细介绍见官网链接id=12126vLLM是一种用于大规模语言模型（LLM）推理的框架，旨在提高模型的吞吐量和降低延迟。vLLM通过优化内存管理和调度策略，显著提升了模型在高并发场景下的性能。
KeyarchOS(KOS)安装APISIX
KeyarchOS的博客
08-01 378
KeyarchOS是浪潮信息基于OpenAnolis开源操作系统自主研发的一款服务器操作系统，支持x86、ARM等主流架构处理器，性能和稳定性居于行业领先地位。浪潮信息KOS服务器操作系统-服务器操作系统-浪潮信息 (ieisystem.com)Apache APISIX 是一个动态、实时、高性能的云原生 API 网关，提供了负载均衡、动态上游、灰度发布、服务熔断、身份认证、可观测性等丰富的流量管理功能。
KOS(KeyarchOS)系统网络指南：配置实战、疑难排错与TCP性能优化
KeyarchOS的博客
04-25 1366
KOS（KeyarchOS）作为面向企业级场景的国产服务器操作系统，其网络功能在稳定性、兼容性与智能化运维方面表现突出。本文基于KOS最新版本（2025年）的核心能力，结合实战场景，系统梳理网络配置、故障排查与性能调优的关键技术，助力构建高性能、高可靠的网络环境。
5分钟在本地PC上使用VLLM快速启动DeepSeek-R1-Distill-Qwen-32B
engchina的专栏
02-02 1万+
5分钟在本地PC上使用VLLM快速启动DeepSeek-R1-Distill-Qwen-32B
生产环境vLLM 部署 DeepSeek，如何调优，看这里
yxkong的专栏
03-14 2352
vLLM 是一个快速且易于使用的 LLM 推理和服务库。vLLM（VeryLargeLanguageModelServing）是由加州大学伯克利分校团队开发的高性能、低延迟的大语言模型（LLM）推理和服务框架。它专为大规模生产级部署设计，尤其擅长处理超长上下文（如8k+ tokens）和高并发请求，同时显著优化显存利用率，是当前开源社区中吞吐量最高的LLM推理引擎之一。高吞吐量：采用先进的服务器吞吐量技术。内存管理：通过PagedAttention高效管理注意力键和值内存。请求批处理。
DeepSeek-R1本机部署（VLLM+OpenWebUI）
weixin_59534602的博客
02-12 5415
VLLM本机部署DeepSeek-R1的不同参数量化模型，并配置可视化WebUI界面。
vllm 本地部署生产级DeepSeek R1 32B 模型实践
maskevinwu的专栏
02-03 9366
vllm 本地部署生产级DeepSeek R1 32B 模型实践
DeepSeek 部署指南 (使用 vLLM 本地部署)
热门推荐
m0_48891301的博客
02-07 4万+
vLLM (https://github.com/vllm-project/vllm) 是一个快速且易于使用的库，用于进行大型语言模型的推理和部署。
DeepSeek专栏2：vLLM×DeepSeek企业级部署指南（鲲鹏+NVIDIA）
openEuler_的博客
02-22 2023
上期介绍了在openEuler上使用Ollama推理框架快速部署DeepSeek的流程，适合于个人开发者与AI爱好者能快速上手体验DeepSeek。但是Ollama不适合大规模AI部署、大并行计算任务等场景，vLLM框架在这个场景则具有独到的优势。vLLM是一款专注于高性能LLM推理的工具，能够有效利用多核CPU和GPU资源，更加适合团队及企业用户。
Ubuntu22.04部署VLLM+DeepSeek-R1-0528-Qwen3-8B、Qwen3-Embedding-8B、Qwen3-Reranker-8B并接入Dify
qq_22130553的博客
07-09 845
Ubuntu22.4部署VLLM+DeepSeek-R1-0528-Qwen3-8B、Qwen3-Embedding-8B并接入Dify
vLLM 部署大模型问题记录
技术分享，读书笔记，面试宝典，算法积累，应有尽有～
10-17 1万+
vLLM 提供了一个官方的 Docker 镜像用于部署，这个镜像可以用来运行与 OpenAI 兼容的服务，并且在 Docker Hub 上可用，名为 vllm/vllm-openai。引擎启动参数：https://docs.vllm.ai/en/stable/models/engine_args.html。引擎启动参数：https://docs.vllm.ai/en/stable/models/engine_args.html。Llama3.2 最新支持视觉大模型，不支持音频输入。
DeepSeek-基于vLLM部署
03-08 1504
虽然vLLM比较复杂，但是他具有组成集群跑更大模型的能力，所以我这里先用单机版来让搭建对这个vLLM有一个的理解，后期再深入。
KOS系统升级优化：内核调整与服务器通信接口详解
KOS系统与服务器通信接口文档详细介绍了新版KOS系统在与服务器交互方面的关键功能和工作原理。这个系统经过优化，针对Linux内核进行定制，显著提高了在高流量环境下的性能。主要的通信接口包括： 1. **KOSportal...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值