基于kuberay的rayjob中集群启动时间测试

最新推荐文章于 2024-11-28 20:38:03 发布
最新推荐文章于 2024-11-28 20:38:03 发布
阅读量425 收藏
点赞数
文章标签： Ray Kuberay rayjob
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xubo245/article/details/130637996
版权

1.环境

华为云CCE
节点为8和16G

2.ray job配置

      - replicas: 100
        minReplicas: 100
        maxReplicas: 500

在这里插入图片描述

3.启动测试

首次启动

拉去镜像等耗时差不多一分钟左右。
在这里插入图片描述

非首次启动

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

三次运行分别16、14、10秒

在 K8s 上使用 vLLM 部署大型语言模型 (LLM)
iCloudEnd的博客
05-15 331
vLLM 是一个用于 LLM 推理和服务的开源库，提供快速实施和用户友好的功能。vLLM 由加州大学伯克利分校专家精心制作，并在 Chat bot Arena 和 Vicuna Demo 中使用，它拥有一系列功能，包括：性能增强：利用分页注意力机制，与 Hugging Face Transformers 相比，vLLM 的吞吐量显着提高了 24 倍，确保了快速高效的 LLM 服务。用户友好的界面：vLLM 专注于无缝集成，通过其直观的界面简化了 LLM 部署。
vllm部署的一些思考
andeyeluguo的博客
07-30 228
事实上，生产中的分布式推理，是 用k8s等进行管理，每个模型在一个容器中而已，如一个7b的模型占用一个GPU，作为一个node，而不是把模型分布式，是把服务分布式。但是这种方式只是把非常大的模型如lamma 3.1 ，这个模型有405b，需要用多机多卡的方式进行分布式。vllm号称利用ray支持多机多卡的方式，链接如下。常用的有xinference，还有各种k8s的集成。
基于KubeRay提交RayJob
Keep Learning
05-10 1567
通过kuberay提交Ray job
使用 KubeRay 和 Kueue 在 Kubernetes 中托管 Ray 工作负载
字节跳动云原生计算官方账号
12-08 1274
为了提供简洁的分布式编程体验，Ray Core 内部做了非常多工作，比如 actor 调度和 object 的生命周期管理等，上图左侧展示了如何使用 Ray Core 编写一个简单的分布式程序，square 函数和 Counter 类通过 Ray 的语法糖，变成了一些在远程运行的对象，其计算过程会被异步调用并存储在 object store 中，最后通过 ray.get 来获取到本地。随着作业规模的增大，如何有限资源下调度不同优先级的作业，让大家都能稳定有序去使用 GPU 等资源是一个非常重要的问题。
Kubernetes 之 kubelet 与 CRI/CNI 的交互过程
最新发布
sre救赎之路
11-28 291
当一个新的 Pod 被提交创建之后，KubeletCRICNI这三个组件之间进行了哪些交互呢？
大模型训练部署利器--开源分布式计算框架Ray原理介绍
2401_83124266的博客
03-03 6703
本文介绍了分布式计算框架Ray的原理。
KubeRay：智能化Kubernetes管理的新星
gitblog_00023的博客
04-15 722
KubeRay：智能化Kubernetes管理的新星 kuberayA toolkit to run Ray applications on Kubernetes项目地址:https://gitcode.com/gh_mirrors/ku/kuberay 是一个创新的开源项目，旨在简化和增强Kubernetes上的工作负载管理和弹性扩展。由Ray Project开发，这个项目的目标是将Ray的高...
Ray K8s 集群部署
Github_Lee的博客
05-23 4595
使用Kuberay Operator是官方推荐的方式，operator 提供了一种k8s原生方式的管理ray集群的方法。可以在本地 通过 Ray job submit 的方式将本地的 scripts 项目提交至 Ray 集群中执行。注意事项：我之前部署Ray 的时候有可能用的就是较早版本的 Kuberay operator。2）首先部署 kuberay operator：一个用来创建以及管理ray集群的 pod。kuberay operator已成功执行，现在可以通过它来部署一个简单的 ray集群。
KubeRay: 构建未来智能应用的基石
gitblog_00659的博客
08-07 852
???? KubeRay: 构建未来智能应用的基石 kuberayA toolkit to run Ray applications on Kubernetes项目地址:https://gitcode.com/gh_mirrors/ku/kuberay 在不断演进的技术浪潮中，KubeRay 成为了连接 Kubernetes 和 Ray 的桥梁，为现代机器学习和数据密集型应用程序开辟了新的道路。本文将...
kuberay.tar.gz
03-28
5. **应用集成**：一旦Ray集群运行起来，用户就可以在Kubernetes环境中部署基于Ray的应用，享受Kubernetes带来的便利和Ray的高性能分布式计算能力。 Kuberay的出现，使得数据科学家和AI工程师能够充分利用...
kuberay-v0.4.0-linux-amd64.zip
03-09
这些文件用于在Linux服务器上安装和配置Kuberay，以便在Kubernetes集群上启动和管理Ray作业。 总的来说，"kuberay-v0.4.0-linux-amd64.zip" 是一个针对数据科学和AI领域的工具，它整合了Kubernetes的强大容器管理...
KubeRay v0.4.0版本发布，Linux AMD64架构包下载
KubeRay通过在Kubernetes上运行Ray集群，将Kubernetes的管理能力与Ray的计算性能相结合，为用户提供了一个能够在云原生环境中无缝扩展和运行分布式机器学习任务的解决方案。" 从标题中我们可以提取出以下几点关键...
KubeRay：在Kubernetes上运行Ray应用的强大工具
gitblog_01287的博客
10-18 921
KubeRay：在Kubernetes上运行Ray应用的强大工具 kuberay A toolkit to run Ray applications on Kubernetes 项目地址: https://gitcode.com/...
KubeRay部署与使用指南
gitblog_00919的博客
08-07 943
KubeRay部署与使用指南 kuberayA toolkit to run Ray applications on Kubernetes项目地址:https://gitcode.com/gh_mirrors/ku/kuberay 1. 项目目录结构及介绍 KubeRay 是一个强大的开源 Kubernetes 运算符，旨在简化在 Kubernetes 上部署和管理 Ray 应用的过程。下面是基...
KubeRay 项目安装与配置指南
gitblog_01292的博客
10-18 1141
KubeRay 项目安装与配置指南 kuberay A toolkit to run Ray applications on Kubernetes 项目地址: https://gitcode.com/gh_mirrors/ku/k...
KubeRay下载与安装教程
gitblog_01289的博客
10-18 806
KubeRay下载与安装教程 kuberay A toolkit to run Ray applications on Kubernetes 项目地址: https://gitcode.com/gh_mirrors/ku/kube...
学习和体验Ray on volcano
Keep Learning
05-11 1000
学习和体验Ray on volcano
Kubernetes 之 kubelet 与 CRI、CNI 的交互过程
凌虚Blog
09-07 904
其实不管是新建 Pod 还是其它场景，KubeletCRICNI的调用过程都是Kubelet调用CRICRI调用CNI。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值