Kubernetes----Job控制器

已于 2022-08-18 10:28:25 修改
阅读量726 收藏 1
点赞数 1
分类专栏： Kubernetes 文章标签： kubernetes
于 2022-03-31 23:27:44 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/redrose2100/article/details/123785096
版权
本文详细介绍了Kubernetes Job控制器的功能和用法，包括用于一次性批量任务的特性，如成功完成次数、并发执行数量和超时设置。通过实例展示了如何创建和配置Job，以及如何观察Job和Pod的状态变化，进一步解释了设置总数和并行参数的Job控制器如何工作，以实现多任务并发执行。
摘要由CSDN通过智能技术生成

【原文链接】

一、Job控制器简介

1.1 Job控制器简介

Job，主要用于负责批量处理短暂的一次性任务，Job特点如下：

  • 当Job创建的Pod执行成功时，job将几乎成功结束的pod数量
  • 当成功结束的pod达到指定的数量时，job将完成执行

1.2 Job控制器资源文件

apiVersion: batch/v1   # 版本号
kind: Job  # 类型
metadata: # 元数据
  name: # rs名称
  namespae: # 所属命名空间
  labels:  # 标签
    controller: job
spec:  # 详情描述
  completions: 1 # 指定Job需要成功运行Pod的次数，默认值为1
  parallelism: 1 # 指定Job在同一时刻应该并发运行Pod的数量，默认值为1
  activeDeadlineSeconds: 30  # 指定Job可运行的时间期限，超过时间还为结束，系统将会尝试进行终止
  backoffLimit: 6  # 指定Job失败后进行重试的次数，默认值为6
  manualSelector: true  # 是否可以使用selector选择器选择pod，默认是false
  selector:  # 选择器，通过它指定该控制器管理哪些Pod
    matchLabels:   # Label匹配规则
      app: controller-pod
    matchExpressions:  # Expressions匹配项
      - {key: app, operator: In, values: [controller-pod]}
  template:   # 模板，当副本数量不足时，会根据下面的模板创建pod副本
    metadata:
      labels:
        app: controller-pod
    spec:
      restartPolicy: Never  # 重启策略只能设置为Never或者OnFailure
      containers:
      - name: counter
      - image: nginx:1.17.1

二、Job控制器实例

2.1 Job控制器实例演示

编辑pc_job.yaml文件，内容如下

apiVersion: v1
kind: Namespace
metadata:
  name: dev

---

apiVersion: batch/v1
kind: Job
metadata:
  name: pc-job
  namespace: dev
spec:
  manualSelector: true
  selector:
    matchLabels:
      app: counter-pod
  template:
    metadata:
      labels:
        app: counter-pod
    spec:
      restartPolicy: Never
      containers:
      - name: counter
        image: busybox:1.30
        command: ["/bin/sh","-c","for i in 9 8 7 6 5 4 3 2 1;  do echo $i;sleep 3;done"]

然后开启另外两个窗口分别使用如下命令监视job和pod的状态变化

# 监视job的窗口
 kubectl get job -n dev -o wide -w
# 监视pod的窗口
 kubectl get pod -n dev -o wide -w

然后使用如下命令创建资源

[root@master pod_controller]# kubectl apply -f pc_job.yaml
namespace/dev created
job.batch/pc-job created
[root@master pod_controller]#

然后可以看到job的变化如下：

[root@master ~]# kubectl get job -n dev -o wide -w
NAME     COMPLETIONS   DURATION   AGE   CONTAINERS   IMAGES         SELECTOR
pc-job   0/1                      0s    counter      busybox:1.30   app=counter-pod
pc-job   0/1           0s         0s    counter      busybox:1.30   app=counter-pod
pc-job   1/1           28s        28s   counter      busybox:1.30   app=counter-pod

而pod的变化如下：

[root@master ~]# kubectl get pod -n dev -o wide -w
NAME           READY   STATUS    RESTARTS   AGE   IP       NODE     NOMINATED NODE   READINESS GATES
pc-job-hn5gj   0/1     Pending   0          0s    <none>   <none>   <none>           <none>
pc-job-hn5gj   0/1     Pending   0          0s    <none>   node2    <none>           <none>
pc-job-hn5gj   0/1     ContainerCreating   0          0s    <none>   node2    <none>           <none>
pc-job-hn5gj   1/1     Running             0          1s    10.244.2.105   node2    <none>           <none>
pc-job-hn5gj   0/1     Completed           0          28s   10.244.2.105   node2    <none>           <none>

2.2 设置总数和并行参数的Job控制器实例

编辑pc_job.yaml文件，内容如下，需要创建6个pod，允许并行执行3个

apiVersion: v1
kind: Namespace
metadata:
  name: dev

---

apiVersion: batch/v1
kind: Job
metadata:
  name: pc-job
  namespace: dev
spec:
  manualSelector: true
  completions: 6
  parallelism: 3
  selector:
    matchLabels:
      app: counter-pod
  template:
    metadata:
      labels:
        app: counter-pod
    spec:
      restartPolicy: Never
      containers:
      - name: counter
        image: busybox:1.30
        command: ["/bin/sh","-c","for i in 9 8 7 6 5 4 3 2 1;  do echo $i;sleep 3;done"]

然后开启另外两个窗口分别使用如下命令监视job和pod的状态变化

# 监视job的窗口
 kubectl get job -n dev -o wide -w
# 监视pod的窗口
 kubectl get pod -n dev -o wide -w

然后使用如下命令创建资源

[root@master pod_controller]# kubectl apply -f pc_job.yaml
namespace/dev created
job.batch/pc-job created
[root@master pod_controller]#

job的变化过程如下：

[root@master ~]# kubectl get job -n dev -o wide -w
NAME     COMPLETIONS   DURATION   AGE   CONTAINERS   IMAGES         SELECTOR
pc-job   0/6                      0s    counter      busybox:1.30   app=counter-pod
pc-job   0/6           0s         0s    counter      busybox:1.30   app=counter-pod
pc-job   1/6           28s        28s   counter      busybox:1.30   app=counter-pod
pc-job   2/6           28s        28s   counter      busybox:1.30   app=counter-pod
pc-job   3/6           29s        29s   counter      busybox:1.30   app=counter-pod
pc-job   4/6           57s        57s   counter      busybox:1.30   app=counter-pod
pc-job   5/6           57s        57s   counter      busybox:1.30   app=counter-pod
pc-job   6/6           57s        57s   counter      busybox:1.30   app=counter-pod

pod的变化过程如下：

[root@master ~]# kubectl get pod -n dev -o wide -w
NAME           READY   STATUS    RESTARTS   AGE   IP       NODE     NOMINATED NODE   READINESS GATES
pc-job-m7q4d   0/1     Pending   0          0s    <none>   <none>   <none>           <none>
pc-job-jwtsg   0/1     Pending   0          0s    <none>   <none>   <none>           <none>
pc-job-7hg9g   0/1     Pending   0          0s    <none>   <none>   <none>           <none>
pc-job-m7q4d   0/1     Pending   0          0s    <none>   node2    <none>           <none>
pc-job-jwtsg   0/1     Pending   0          0s    <none>   node1    <none>           <none>
pc-job-7hg9g   0/1     Pending   0          0s    <none>   node1    <none>           <none>
pc-job-m7q4d   0/1     ContainerCreating   0          0s    <none>   node2    <none>           <none>
pc-job-jwtsg   0/1     ContainerCreating   0          0s    <none>   node1    <none>           <none>
pc-job-7hg9g   0/1     ContainerCreating   0          0s    <none>   node1    <none>           <none>
pc-job-jwtsg   1/1     Running             0          1s    10.244.1.89   node1    <none>           <none>
pc-job-7hg9g   1/1     Running             0          1s    10.244.1.88   node1    <none>           <none>
pc-job-m7q4d   1/1     Running             0          2s    10.244.2.106   node2    <none>           <none>
pc-job-7hg9g   0/1     Completed           0          28s   10.244.1.88    node1    <none>           <none>
pc-job-vdsgl   0/1     Pending             0          0s    <none>         <none>   <none>           <none>
pc-job-jwtsg   0/1     Completed           0          28s   10.244.1.89    node1    <none>           <none>
pc-job-vdsgl   0/1     Pending             0          0s    <none>         node1    <none>           <none>
pc-job-vtln5   0/1     Pending             0          0s    <none>         <none>   <none>           <none>
pc-job-vdsgl   0/1     ContainerCreating   0          0s    <none>         node1    <none>           <none>
pc-job-vtln5   0/1     Pending             0          0s    <none>         node1    <none>           <none>
pc-job-vtln5   0/1     ContainerCreating   0          1s    <none>         node1    <none>           <none>
pc-job-m7q4d   0/1     Completed           0          29s   10.244.2.106   node2    <none>           <none>
pc-job-d77m9   0/1     Pending             0          0s    <none>         <none>   <none>           <none>
pc-job-d77m9   0/1     Pending             0          0s    <none>         node2    <none>           <none>
pc-job-d77m9   0/1     ContainerCreating   0          0s    <none>         node2    <none>           <none>
pc-job-vtln5   1/1     Running             0          1s    10.244.1.90    node1    <none>           <none>
pc-job-vdsgl   1/1     Running             0          2s    10.244.1.91    node1    <none>           <none>
pc-job-d77m9   1/1     Running             0          1s    10.244.2.107   node2    <none>           <none>
pc-job-vtln5   0/1     Completed           0          29s   10.244.1.90    node1    <none>           <none>
pc-job-vdsgl   0/1     Completed           0          29s   10.244.1.91    node1    <none>           <none>
pc-job-d77m9   0/1     Completed           0          28s   10.244.2.107   node2    <none>           <none>

可以看出，确实可以实现创建6个任务，同时并发3个执行，总体执行时间大概两个周期即58秒左右即可完成

redrose2100
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
Kubernetes对象job详解
悦分享
08-21 290
而如果将restartPolicy 设置为OnFailure会怎么样，根据OnFailure的含义，当pod失败后，会进行重启，因此，可以看到pod只有一个，但是pod的RESTARTS会不断增加，这说明了容器失败后会自动重启。原因是：当第一个Pod启动时，容器失败退出，根据策略：restartPolicy: Never，此失败容器不会被重启，但 Job DESIRED的Pod是1，目前成功的为0，不满足条件，所以 Job controller会启动新的Pod，直到成功为1。
【kubernetes】k8s的job和cronjob详细说明【job、cronjob(cj)、descheduler(pod均衡)】
崔崇鑫的博客，你linux/云运维工作中的百科全书。
09-08 8218
文章目录说明 说明
k8s常用命令
jiayoubing的专栏
09-13 350
一，kubectl 命令行的语法如下： $ kubectl [command] [TYPE] [NAME] [flags] 上面的命令是： kubectl命令行中，指定执行什么操作（command），指定什么类型资源对象（type），指定此类型的资源对象名称（name）,指定可选参数（flags）,后面的参数就是为了修饰那个唯一的对象 属于典型的英文语法，比如你是老师，你说，小明（kubectl）买（command）方便面（type）老坛酸菜方便面（name）桶装的（flag）。命令的根本原则是准..
【K8s】专题四（6）：Kubernetes 控制器之 Job
最新发布
行者Sun1989的博客
06-06 382
Kubernetes 专题 - 控制器之 Job
【Kubernetes实战】（十四）Pod 控制器 Job相关命令
03-25 366
Kubernetes jobs主要是针对短时和批量的工作负载。它是为了结束而运行的，而不是像deployment、replicasets、replication controllers和DaemonSets等其他对象那样持续运行。Kubernetes Jobs会一直运行到Job中指定的任务完成。也就是说，如果pods给出退出代码0，那么Job就会退出。而在正常的Kubernetes中，无论退出代码是什么，deployment对象在终止或出现错误时都会创建新的pod，以保持deployment的理想状态。
Kubernetes(k8s)的Pod控制器Job和CronJob详细讲解
Bulut0907
08-03 1647
目录1. Job控制器1.1 概述1.2 Job的创建、查看、删除1.2.1 Job的创建1.2.2 Job的查看1.2.3 Job的删除2. CronJob控制器2.1 概述2.2 CronJob的创建、查看、删除2.2.1 CronJob的创建2.2.2 CronJob的查看2.2.3 CronJob的删除 1. Job控制器 1.1 概述 Job主要用于负责批量处理短暂的一次性任务 Job的特点： 当Job创建的Pod执行成功结束时，Job将记录成功结束的Pod数量 当成功结束的Pod达到指定的数量
kubernetes-in-action-master.zip
06-10
3. **工作负载和自动化**：涉及Job、CronJob等控制器，用于管理一次性任务和定时任务，以及Horizontal Pod Autoscaler（HPA），实现自动扩缩容。 4. **自定义资源和API扩展**：介绍如何通过CRD（Custom Resource ...
kubernetes-learning.pdf
06-04
Kubernetes 调度器介绍 Kubernetes 亲和性调度 集群监控 ⼿动安装 Prometheus 监控 Kubernetes 集群应⽤ 监控 Kubernetes 集群节点 监控 Kubernetes 常⽤资源对象 Grafana 的安装使⽤ AlertManager 的使⽤ ...
kubernetes-使用文档.pdf
10-18
Kubernetes的架构由多个关键组件构成，如etcd（分布式键值存储，用于保存集群状态）、kube-apiserver（处理API请求并操作etcd）、kube-scheduler（负责将Pod调度到合适的Node上）、kube-controller-manager（管理...
kubernetes-training:kubernetes培训
04-28
4. **kube-controller-manager**：负责执行各种控制器，如 ReplicationController、Job 和 DaemonSet。 5. **kubelet**：在每个 Node 上运行，负责 Pod 的创建、删除和监控。 6. **container runtime**：如 Docker ...
kubernetes-internals：这是一个资源集合，阐明了Kubernetes的内部工作原理
02-03
Kubernetes由多个组件构成，包括etcd（持久化数据存储）、API Server（核心服务接口）、Controller Manager（控制器管理器）和Scheduler（调度器）。这些组件协同工作，确保集群的稳定性和高效性。 2. **Pods** - ...
（二十六）Kubernetes集群Pod控制器之Job控制器
11
02-12 448
Job控制器主要负责批量处理短暂的一次性任务，当任务执行完毕后会自动将pod的可用数为0，pod的状态处于 complete 状态。运行一个busybox镜像，执行一个for循环，持续30秒，创建6个任务，观察效果。如果设置的job任务时间限制小于任务执行花费的时间时，job会将pod全部删除。可以多打开几个窗口观察job任务的状态。
[置顶] kubernetes资源类型--pod和job
ddk4044的博客
08-01 78
pod Pod是K8S的最小操作单元，一个Pod可以由一个或多个容器组成；整个K8S系统都是围绕着Pod展开的，比如如何部署运行Pod、如何保证Pod的数量、如何访问Pod等。 特点 Pod是能够被创建、调度和管理的最小单元； 每个Pod都有一个独立的IP； 一个Pod由一个或多个容器构成，并共享所有资源，主要包括：PID、Network、IPC、UTS、共享存储等；Pod所有容器在...
Kubectl 常用命令, 开发人员常用k8s命令
了迹奇有没
02-09 1222
什么是常用，我用的，就是常用的???? 一个日常使用k8s的开发 所需要知道的命令 越攒越多！
Kubernetes--Job批处理调度
GaoChuang_的博客
11-08 532
一、Job批处理调度 Kubernetes从1.12版本开始支持批处理类型的应用，可以通过Kubernetes Job资源对象来定义并启动一个批处理任务。批处理任务通常并行(或串行)启动多个计算程序去处理一批工作项(Work item)，处理完成后，整个批处理任务结束。按照批处理任务实现方式不同，批处理任务可以大致分为以下几类: Job Template Expansion模式：一个Job对象对应一个待处理的Work item，有几个Work item产生几个独立Job，通常适...
【Kubernetes】离线业务：Job与CronJob
weixin_33775572的博客
10-16 154
　　Deployment、StatefulSet和DaemonSet这三个编排概念编排的对象主要都是在线业务（Long Running Task，这些应用一旦运行起来，除非出错或者停止，它的容器进程会一直保持在Running状态）。 　　但是对于离线业务（Batch Job，计算业务）在计算完成后就直接退出了，如果依然使用Deployment来管理，就会发现Pod会在计算结束后退出，然后被Dep...
Kubernetes Job Controller源码分析
weixin_34349320的博客
09-20 238
2019独角兽企业重金招聘Python工程师标准>>> ...
kubernetes job的原理
dlm520947的博客
06-20 154
job例子： apiVersion: batch/v1 #job的apiVersion kind: Job #资源类型为job metadata: labels: name: busybox name: busybox spec: template: metadata: ...
了解Kubernetes部署功能
zhuangshu_feng'‘每天进步一点点
12-21 7049
原文http://qinghua.github.io/kubernetes-deployment/?utm_source=tuicool&utm_medium=referral Kubernetes简称k8s，是谷歌于2014年开始主导的开源项目，提供了以容器为中心的部署、伸缩和运维平台。 截止目前它的最新版本为1.2。搭建环境之前建议先了解一下kubernetes的相关知识，可以
如何将 xxl-job 执行器改成微服务
09-17
将 xxl-job 执行器改成微服务，可以按照以下步骤进行： 1. 将 xxl-job 执行器的任务处理逻辑剥离出来，封装成一个独立的可复用的服务模块，例如使用 Spring Boot 等框架，实现任务处理的接口。 2. 基于任务处理的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

redrose2100

您的鼓励是我最大的创作动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值