本人任职于安超云技术架构部，拥有十余年云计算与AI经验。专注AI基础设施、分布式集群、高可用架构、虚拟化、存储、网络及数据库等领域。博客内容以学习笔记为主，力求准确，但个人能力所限，难免疏误。非常欢迎交流指正，期待与您共同探讨技术

摘要： 本文详细介绍了在Ubuntu 22.04上部署Kubernetes集群并运行vLLM推理框架的完整流程。vLLM凭借PagedAttention和动态批处理技术显著提升GPU推理效率，支持多GPU并行及主流大模型。部署过程涵盖环境准备（NVIDIA驱动、容器运行时）、K8s集群搭建、vLLM容器化部署及优化（GPU调度、模型持久化）。通过K8s的Device Plugin实现GPU资源管理，Service暴露API接口，ConfigMap/Secret管理配置，最终提供高性能、可扩展的LLM推理服务

本文详细介绍了在Ubuntu 22.04上基于Kubernetes部署SGLang的完整方案。首先分析了Kubernetes+SGLang架构的优势，相比传统单机部署具有更好的扩展性、资源利用率和故障恢复能力。接着提供了Ubuntu系统的优化配置步骤，包括Docker和Kubernetes集群的安装部署。最后重点阐述了SGLang模型的两种Kubernetes部署方案：StatefulSet基础部署适用于中等规模模型，而LeaderWorkerSet高级部署更适合大规模分布式场景。文中包含详细的YAML配置

作者：吴业亮博客：http://blog.csdn.net/wylfengyujiancheng1、环境信息# cat /etc/centos-releaseCentOS Linux release 7.5.1804 (Core)kubernets版本v1.13.12、部署环境（本地源是基于1804-minimal做的）下载操作系统isohttps://mirrors.tun...

作者：【吴业亮】博客：https://wuyeliang.blog.csdn.net/kube-scheduler 调度分为两个阶段，predicate 和 prioritypredicate：过滤不符合条件的节点priority：优先级排序，选择优先级最高的节点predicates 策略PodFitsPorts：同 PodFitsHostPortsPodFitsHostPort...

Kubernetes Cluster由Master和Node组成，节点上运行着若干Kubernetes服务。一、Master节点Master是KubernetesCluster的大脑，运行着的Daemon服务包括kube-apiserver、kube-scheduler、kube-controller-manager、etcd和Pod网络（例如flannel），如图所示。1.API Ser...

作者：【吴业亮】 博客：http://blog.csdn.net/wylfengyujiancheng一、环境信息： 环境信息（采用一个master节点+两个node节点)master 172.16.20.11node1 172.16.20.12node2 172.16.20.13操作系统版本CentOS Linux release 7.5.1804 (Core...