基于kuberay的rayjob中集群启动时间测试

最新推荐文章于 2025-09-17 07:26:46 发布
原创 最新推荐文章于 2025-09-17 07:26:46 发布 · 606 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#Ray #Kuberay #rayjob

在华为云的CCE服务中，配置了Rayjob的replicas为100，minReplicas和maxReplicas分别为100和500。首次启动时，由于镜像拉取耗时约1分钟；非首次启动时，三次测试的启动时间分别为16、14和10秒，显示出性能的提升。

1.环境

华为云CCE
节点为8和16G

2.ray job配置

      - replicas: 100
        minReplicas: 100
        maxReplicas: 500

在这里插入图片描述

3.启动测试

首次启动

拉去镜像等耗时差不多一分钟左右。
在这里插入图片描述

非首次启动

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

三次运行分别16、14、10秒

使用 KubeRay 和 Kueue 在 Kubernetes 中托管 Ray 工作负载
字节跳动云原生计算官方账号
12-08 2813
为了提供简洁的分布式编程体验，Ray Core 内部做了非常多工作，比如 actor 调度和 object 的生命周期管理等，上图左侧展示了如何使用 Ray Core 编写一个简单的分布式程序，square 函数和 Counter 类通过 Ray 的语法糖，变成了一些在远程运行的对象，其计算过程会被异步调用并存储在 object store 中，最后通过 ray.get 来获取到本地。随着作业规模的增大，如何有限资源下调度不同优先级的作业，让大家都能稳定有序去使用 GPU 等资源是一个非常重要的问题。
kuberay 安装和使用
陈锐的技术笔记
01-10 2798
KubeRay 是一个基于 Kubernetes 的项目，旨在简化在 Kubernetes 上部署和管理 Ray 集群的过程。先贴点正确的废话：1.KubeRay 提供了一个易于使用的界面和工具，允许用户快速创建、配置和管理 Ray 集群，而不需要深入了解底层 Kubernetes 的细节。2.通过使用 Kubernetes 的自定义资源定义（CRD），用户可以通过简单的 YAML 配置文件来定义 Ray 集群的结构和参数，KubeRay 自动处理资源的创建和配置。3.
Ray Job 多作业并发运行最佳实践：从理论到实战
最新发布
大模型大数据攻城狮的专栏
09-17 1054
对于复杂场景，可以通过 Python 脚本实现自定义调度逻辑。import rayelse:self.cluster.add_node(num_cpus=4) # 动态添加节点对于特定场景，可以编写脚本监控作业的运行状态。import ray") # 发送告警import ray# 执行依赖链。
大模型训练部署利器--开源分布式计算框架Ray原理介绍
热门推荐
2401_83124266的博客
03-03 1万+
本文介绍了分布式计算框架Ray的原理。
基于KubeRay提交RayJob
Keep Learning
05-10 2292
通过kuberay提交Ray job
DeepSeek本地部署：基于KubeRay、诚迈信创及ModelEngine的不同场景AI服务搭建方案
02-06
内容概要：本文详细介绍了人工智能平台 DeepSeek 的三种本地部署方案：一是利用 KubeRay 实现分布式推理部署；二是针对诚迈信创电脑的特定部署方法；三是借助华为ModelEngine AI平台提供的“一键部署”功能来快速...
基于Kubernetes的ML平台架构设计
2401_83124266的博客
03-10 1773
本文在Kubernetes开源组件的基础上，对ML平台各部分组件的作用进行了介绍，并且进行了组件选型，初步设计了ML平台的技术架构。
在 Kubernetes 中部署 Ray：详细指南
maxcode
02-26 1574
KubeRay 是 Ray 社区为 Kubernetes 提供的 Operator，它通过 Kubernetes 的自定义资源定义（CRD）来管理 Ray 集群。RayCluster：用于定义和管理 Ray 集群。RayJob：用于定义和运行 Ray 任务。RayService：用于定义和管理基于 Ray 的服务。这些 CRD 使得用户可以使用 Kubernetes 原生的方式管理 Ray 集群，包括自动扩展、资源管理、多版本支持等功能。创建一个名为的文件，定义一个 Ray 集群。
kuberay.tar.gz
03-28
5. **应用集成**：一旦Ray集群运行起来，用户就可以在Kubernetes环境中部署基于Ray的应用，享受Kubernetes带来的便利和Ray的高性能分布式计算能力。 Kuberay的出现，使得数据科学家和AI工程师能够充分利用...
KubeRay: 构建未来智能应用的基石
gitblog_00659的博客
08-07 1178
???? KubeRay: 构建未来智能应用的基石 kuberayA toolkit to run Ray applications on Kubernetes项目地址:https://gitcode.com/gh_mirrors/ku/kuberay 在不断演进的技术浪潮中，KubeRay 成为了连接 Kubernetes 和 Ray 的桥梁，为现代机器学习和数据密集型应用程序开辟了新的道路。本文将...
【亲测免费】 KubeRay：智能化Kubernetes管理的新星
gitblog_00023的博客
04-15 1072
是一个创新的开源项目，旨在简化和增强Kubernetes上的工作负载管理和弹性扩展。由Ray Project开发，这个项目的目标是将Ray的高性能分布式计算能力与Kubernetes的强大容器编排功能相结合，为AI、大数据和其他大规模应用提供更高效的运行环境。 ## 技术解析 KubeRay的核心在于其独特的设计，它在Kubernetes之上构建了一个抽象层，使得资源调度、任务管理和扩展性更为...
Ray K8s 集群部署
Github_Lee的博客
05-23 7091
使用Kuberay Operator是官方推荐的方式，operator 提供了一种k8s原生方式的管理ray集群的方法。可以在本地 通过 Ray job submit 的方式将本地的 scripts 项目提交至 Ray 集群中执行。注意事项：我之前部署Ray 的时候有可能用的就是较早版本的 Kuberay operator。2）首先部署 kuberay operator：一个用来创建以及管理ray集群的 pod。kuberay operator已成功执行，现在可以通过它来部署一个简单的 ray集群。
【免费下载】 Ray项目在Kubernetes上的生产部署指南
gitblog_00932的博客
06-01 641
Ray是一个开源的分布式计算框架，而Ray Serve则是构建在Ray之上的可扩展模型服务库。将Ray Serve部署在Kubernetes集群上，可以结合Ray的强大计算能力和Kubernetes的运维优势，为生产环境提供稳定可靠的服务。本文将详细介绍如何在Kubernetes上部署和管理Ray Serve应用。 ## 核心概念 在开始部署前，我们需要了解几个关键概念： 1. **Kube...
KubeRay 项目安装与配置指南
gitblog_01292的博客
10-18 1508
KubeRay 是一个开源的 Kubernetes 操作器，旨在简化 Ray 应用程序在 Kubernetes 上的部署和管理。Ray 是一个用于构建分布式应用程序的开源框架，广泛应用于机器学习和数据处理领域。KubeRay 通过提供自定义资源定义（CRD）来管理 Ray 集群的生命周期，包括创建、删除、自动扩展和故障恢复。 KubeRay 项目主要使用以下编程语言： - **Go**：用于编写...
KubeRay 和 Ray
专注最新最热的AI知识学习，以实战方式总结心得。
07-16 715
KubeRay 和 Ray，而是。两者在分布式计算生态中扮演不同角色，共同构成完整的云原生 AI 解决方案。
【亲测免费】 KubeRay：在Kubernetes上运行Ray应用的强大工具
gitblog_01287的博客
10-18 1523
KubeRay是一个开源的Kubernetes操作员，旨在简化在Kubernetes上部署和管理Ray应用的过程。该项目主要使用Go语言进行开发，同时也涉及Python、Makefile、Shell、Mustache、Dockerfile和Smarty等多种编程语言和技术。 #### 项目核心功能 KubeRay的核心功能包括： 1. **KubeRay核心组件**：提供三个自定义资源定义（...
【亲测免费】 KubeRay部署与使用指南
gitblog_00919的博客
08-07 1391
KubeRay 是一个强大的开源 Kubernetes 运算符，旨在简化在 Kubernetes 上部署和管理 Ray 应用的过程。下面是基于 [ray-project/kuberay](https://github.com/ray-project/kuberay) 的大致目录结构以及关键组件的简要说明： ```markdown . ├── api-server ...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值