Kubernetes--Job批处理调度

最新推荐文章于 2024-07-17 09:14:52 发布
最新推荐文章于 2024-07-17 09:14:52 发布
阅读量550 收藏
点赞数
分类专栏： Kubernetes 文章标签： kubernetes 容器 云原生
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/GaoChuang_/article/details/121187941
版权
本文详细介绍了Kubernetes中Job的多种处理模式，包括Job Template Expansion、Queue with Pod per Work Item、Queue with Variable Pod Count、Single Job with Static Work Assignment以及Non-parallel和Parallel Jobs。重点讲解了并行处理工作项的策略，如固定完成计数和可变Pod数量，并提到了使用RabbitMQ和Redis等任务队列来协调Work item的处理。通过对不同模式的探讨，揭示了如何在Kubernetes中有效地调度批处理任务。
摘要由CSDN通过智能技术生成
一、Job批处理调度
    Kubernetes从1.12版本开始支持批处理类型的应用，可以通过Kubernetes Job资源对象来定义并启动一个批处理任务。批处理任务通常并行(或串行)启动多个计算程序去处理一批工作项(Work item)，处理完成后，整个批处理任务结束。按照批处理任务实现方式不同，批处理任务可以大致分为以下几类:
    

  • Job Template Expansion模式：一个Job对象对应一个待处理的Work item，有几个Work item产生几个独立Job，通常适合Work item数量少、每个Work item要处理的数据量比较大的场景，比如有一个100GB的文件作为一个Woek item，总共有10个文件需要处理
  • Queue with Pod per Work Item模式
最低0.47元/天 解锁文章
GaoChuang_
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Kubernetes-----基础概念及架构分析
m0_50854537的博客
03-17 3117
前言 Kubernetes 是一个可移植的、可扩展的开源平台，用于管理容器化的工作负载和服务，可促进声明式配置和自动化。Kubernetes 拥有一个庞大且快速增长的生态系统。Kubernetes 的服务、支持和工具广泛可用。 名称 Kubernetes 源于希腊语，意为 “舵手” 或 “飞行员”。Google 在 2014 年开源了 Kubernetes 项目。Kubernetes 建立在 Google 在大规模运行生产工作负载方面拥有十几年的经验的基础上，结合了社区中最好的想法和实践。 一、
基于K8s调度框架的批处理调度器-Golang开发
05-26
当前，尽管kubernetes中的默认调度程序无法确保可以调度一组Pod，但是它将调度Pod。 在某些情况下，这会浪费资源，因为某些吊舱需要一起工作，例如火花，张量流等。 因此，批处理调度程序旨在解决该问题。 批处理调度程序背景当前，尽管kubernetes中的默认调度程序无法确保可以调度一组Pod，但是它会调度Pod。 在某些情况下，这会浪费资源，因为某些吊舱需要一起工作，例如火花，张量流等。 因此，批处理调度程序旨在解决该问题。 方法功能轻量级无资源种族调度实施基于最新的调度框架，我们设计了调度程序。 所以只有一个时间表
pod调度之Job:批处理调度
zhangshaohuas的博客
07-18 416
Kubernetes从1.2版本开始支持批处理类型的应用，我们可以通过Kubernetes Job资源对象来定义并启动一个批处理任务。 批处理任务通常**并行（或者串行）**启动多个计算进程去处理一批工作项（work item），处理完成后，整个批处理任务结束。 按照批处理任务实现方式的不同，批处理任务可以分为以下的几种模式： Job Template Expansion模式： 一个Job对象对应一个待处理的Work item，有几个Work item就产生几个独立的Job。 通常适合Work item
XXL-JOB：定时任务框架的实战应用与调度方式详解
最新发布
小威的博客
07-17 1万+
XXL-JOB是一个轻量级分布式任务调度平台，它采用中心化设计，调度中心负责任务管理、调度，执行器负责任务执行。除此之外，XXL-JOB还支持多种调度模式，比如固定速率执行、Cron表达式等，满足不同业务场景的需求。那我们为什么现在就会使用分布式的调度框架呢？大家来看下面这个图：上面是一个发送优惠券的定时任务如果只是单体项目的话，定时任务执行是不会有任何问题的如果后期业务量较大，单体项目做了集群部署，那集群中每一台服务的代码都是一样的，都会按照规定的时间来执行任务，这样就会造成优惠券重复发放。
进击的 Kubernetes 调度系统（二）：支持批任务的 Coscheduling/Gang scheduling
阿里巴巴云原生的博客
07-15 629
作者 | 王庆璨（阿里云技术专家）、张凯（阿里云高级技术专家） **导读：**阿里云容器服务团队结合多年 Kubernetes 产品与客户支持经验，对 Kube-scheduler 进行了大量优化和扩展，逐步使其在不同场景下依然能稳定、高效地调度各种类型的复杂工作负载。《进击的 Kubernetes 调度系统》系列文章将把我们的经验、技术思考和实现细节全面地展现给 Kubernetes 用户和开发者，期望帮助大家更好地了解 Kubernetes 调度系统的强大能力和未来发展方向。本文为该系列文章的第二篇。.
098实战 Job的调度
weixin_34279579的博客
01-23 88
一：介绍 1.job调度 　　容量调度：Apache Hadoop的默认方式 　　公平调度：CDH版本的Hadoop的默认方式   2.公平调度 　　是一种资源分配方式，在yarn的整个生命周期中，所有的application平均分配资源。当一个应用在运行的时候，首先获取所有的资源，当其他应用提交之后，会重新分配资源。调度器Scheduler将application以queues方式组织，这些qu...
带你玩转kubernetes-k8s（第20篇：k8s-深入掌握Pod-Job：批处理调度）
坚持的道路注定孤独
07-19 1532
近几天家里出了些事情，所以耽搁了更新的进度，希望大家可以谅解。 Job： 批处理调度 Kubernetes从1.2版本开始支持批处理类型的应用，我们可以通过Kubernetes Job资源对象来定义并启动一个批处理任务。批处理任务通常并行（或者串行）启动多个计算进（work item），处理完成后，整个批处理任务结束。按照批处理任务实现方式的不同，批处理任务可以分为以下的几种模式。...
Kubernetes --k8s集群部署、Pod管理、资源编写
ly660402的博客
02-22 934
开始部署k8s集群 清理内存 用此命令扩容 部署多个节点 生命周期 ...
Kubernetes----入门概念理解
XuMin6的博客
04-28 518
Kubernetes----入门概念理解 一：介绍Kubernetes ​ Kubernetes，简称K8s，是用8代替8个字符“ubernete”而成的缩写。是一个开源的，用于管理云平台中多个主机上的容器化的应用，Kubernetes的目标是让部署容器化的应用简单并且高效（powerful），Kubernetes提供了应用部署，规划，更新，维护的一种机制。 ​ Kubernet...
十六、K8S-Job（批处理）和Cronjob：定时任务
爱吃西红柿的博客
02-01 2736
spec.startingDeadlineSeconds 字段是可选的。它表示任务如果由于某种原因错过了调度时间，开始该任务的截止时间的秒数，过了截止时间，CronJob 就不会开始该任务的实例（未来的任务仍在调度之中）。
Kubernetes中的Job和CronJob，批量任务执行
cxzhq2002的杂记
12-15 1087
我们经常需要进行批量数据处理和分析，以及按照时间进行调度执行。可以在Kubenrtes中使用容器技术完成，使用Job和CronJob来执行。这样，可以维护较为干净的执行环境，减少不同任务工具的相互干扰。同时可以在集群上按照任务要求和资源状况进行动态伸缩执行。 任务主要包含两种： Job负责批处理任务，即仅执行一次的任务，它保证批处理任务的一个或多个Pod成功结束。 CronJob是基于调度的Job执行将会自动产生多个job，调度格式参考Linux的cron系统。 执行环境： 无论是job还是
任务调度JOB
weixin_34009794的博客
08-05 128
1.1 描述 定时执行数据库中的PL/SQL块，如存储过程。可以减化前端编程。 1.2 简单示例 本示例运行环境：oracle10g + pl/sql +xp。 使用存储过程每一分钟为一张表添加一条记录。 创建序列 create sequence student_id minvalue 10 maxvalue 9999...
从零开始Kubernetes CronJob实现任务调度
长沙老码农
04-27 1806
从零开始Kubernetes CronJob实现任务调度 安装 kubectl 下载 获取最新版本 curl -LO "https://dl.k8s.io/release/$(curl -L -s https://dl.k8s.io/release/stable.txt)/bin/linux/amd64/kubectl" 指定版本 curl -LO https://dl.k8s.io/release/v1.23.0/bin/linux/amd64/kubectl 二进制包版本验证 [root@ydt
Job的资源调度
weixin_37850264的博客
01-15 432
在一个spark作业内部，多个并行的job是可以同时运行的。对于job，就是一个spark action操作触发的计算单元。spark的调度器 是完全线程安全的，而且支持一个spark application来服务多个网络请求，以及并发执行多个job。 默认情况下，spark的调度会使用FIFO的方式来调度多个job。每个job都会被划分为多个stage，而且第一个job会对所有可用的资源 获取优先使用权，并且让它的stage的task去运行，然后第二个job再获取资源的使用权，以此类推。如果队列头部的jo
hadoop中的job调度管理
baidu_15113429的博客
11-08 2171
Hadoop调优方式 一个MapRedcue作业是通过JobClient向master的JobTracker提交的（JobTracker一直在等待JobClient通过RPC协议提交作业），JobTracker接到JobClient的请求后把其加入作业队列中。Datanode节点的TaskTracker一直通过RPC向JobTracker发送heartbeat询问有没有任务可做，如果有则让其派发任
任务调度中心XXL-JOB小白教程，学习笔记，避免重复调度，作业分片--黑马程序员笔记及自己的见解
qq_62357662的博客
08-18 2567
任务的幂等性是指：对于数据的操作不论多少次，操作的结果始终是一致的。
k8s教程（pod篇）-批处理调度
阿甘兄
12-16 956
主要讲解Pod批处理调度的一些概念，根据Worker Item以及Job的关系，主要分为 “Job Template Expansion”、“Queue with Pod Per Work Item”、“Queue with Variable Pod Count” 这三种，简单阐述了其原理及案例
Kubernetes 集群管理系统中文指南
8. Job：Job 是一种批处理作业调度机制。 9. LocalVolume：LocalVolume 是一种本地存储机制。 10. Namespace：Namespace 是一种提供命名空间隔离的机制。 扩展 API Kubernetes 的扩展 API 包括： 1. 访问 API：...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值