集群调度、亲和性

最新推荐文章于 2023-09-20 16:51:06 发布
最新推荐文章于 2023-09-20 16:51:06 发布
阅读量474 收藏
点赞数
分类专栏： k8s初认识 文章标签： kubernetes docker linux
本文为博主原创文章，未经博主允许不得转载
本文链接：https://blog.csdn.net/weixin_46837396/article/details/122181962
版权

一、集群调度

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

二、节点亲和性（pod与node的亲和性）

定向调度，指的是利用在pod上声明nodeName或者nodeSelector，以此将Pod调度到期望的node节点上。注意，这里的调度是强制的，这就意味着即使要调度的目标Node不存在，也会向上面进行调度，只不过pod运行失败而已。

NodeName

​ NodeName用于强制约束将Pod调度到指定的Name的Node节点上。这种方式，其实是直接跳过Scheduler的调度逻辑，直接将Pod调度到指定名称的节点。

NodeSelector

`NodeSelector用`于将pod调度到添加了指定标签的node节点上。它是通过kubernetes的`label-selector机制`实现的，也就是说，在pod创建之前，会由`scheduler使用MatchNodeSelector`调度策略进行`label`匹配，找出目标node，然后将pod调度到目标节点，该匹配规则是强制约束。
  • 自动调度：运行在哪个节点上完全由Scheduler经过一系列的算法计算得出
  • 定向调度：NodeName、NodeSelector
  • 亲和性调度：NodeAffinity、PodAffinity、PodAntiAffinity
  • 污点（容忍）调度：Taints、Toleration

NodeAffinity

pod.spec.affinity.nodeAffinity
  requiredDuringSchedulingIgnoredDuringExecution  Node节点必须满足指定的所有规则才可以，相当于硬限制
    nodeSelectorTerms  节点选择列表
      matchFields   按节点字段列出的节点选择器要求列表
      matchExpressions   按节点标签列出的节点选择器要求列表(推荐)
        key    键
        values 值
        operator 关系符 支持Exists, DoesNotExist, In, NotIn, Gt, Lt
  preferredDuringSchedulingIgnoredDuringExecution 优先调度到满足指定的规则的Node，相当于软限制 (倾向)
    preference   一个节点选择器项，与相应的权重相关联
      matchFields   按节点字段列出的节点选择器要求列表
      matchExpressions   按节点标签列出的节点选择器要求列表(推荐)
        key    键
        values 值
        operator 关系符 支持In, NotIn, Exists, DoesNotExist, Gt, Lt
	weight 倾向权重，在范围1-100。

1.pod.spec.affinity.nodeAffinity:

  • preferredDuringSchedulingIgnoredDuringExecution 软策略
  • requiredDuringSchedulingIgnoredDuringExecution 硬策略

软策略：有就去，没有就算了。
硬策略：必须要有才去。

1）创建硬策略

apiVersion: v1
kind: Pod
metadata:
  name: affinity
  labels:
    app: node-affinity-pod
spec:
  containers:
  - name: with-node-affinity
    image: wangyanglinux/myapp:v1
  affinity:  #亲和性设置
    nodeAffinity: #设置node亲和性
      requiredDuringSchedulingIgnoredDuringExecution: # 硬限制
        nodeSelectorTerms:
        - matchExpressions: # 匹配env的值的标签
          - key: kuberbetes.io/hostname
            operator: NotIn
            values:
            - k8s-node02


#查看pod的分布

[root@k8s-master-01 affi]# kubectl get pods
NAME       READY   STATUS    RESTARTS   AGE
affinity   1/1     Running   0          5s

#只调度在node1节点
[root@k8s-master-01 affi]# kubectl get pods -o wide
NAME       READY   STATUS    RESTARTS   AGE   IP            NODE          NOMINATED NODE   READINESS GATES
affinity   1/1     Running   0          22s   10.244.1.98   k8s-node-01   <none>           <none>

#删除pod之后，重新部署还是在node1上，因为这是硬调度。
[root@k8s-master-01 affi]# kubectl delete pods --all
pod "affinity" deleted

[root@k8s-master-01 affi]# kubectl apply -f pod1.yaml && kubectl get pods -o wide
pod/affinity created
NAME       READY   STATUS              RESTARTS   AGE   IP       NODE          NOMINATED NODE   READINESS GATES
affinity   0/1     ContainerCreating   0          0s    <none>   k8s-node-01   <none>           <none>
继续测试


apiVersion: v1
kind: Pod
metadata:
  name: affinity
  labels:
    app: node-affinity-pod
spec:
  containers:
  - name: with-node-affinity
    image: wangyanglinux/myapp:v1
  affinity:  #亲和性设置
    nodeAffinity: #设置node亲和性
      requiredDuringSchedulingIgnoredDuringExecution: # 硬限制
        nodeSelectorTerms:
        - matchExpressions: # 匹配env的值的标签
          - key: kuberbetes.io/hostname
            operator: In
            values:
            - k8s-node03

# 因为我们没有node3节点，所以我们硬性调度到node3节点上，验证一下效果

# 因此一直显示pending的结果

[root@k8s-master-01 affi]# kubectl apply -f pod1.yaml 
pod/affinity created
[root@k8s-master-01 affi]# kubectl get pods -o wide
NAME       READY   STATUS    RESTARTS   AGE   IP       NODE     NOMINATED NODE   READINESS GATES
affinity   0/1     Pending   0          9s    <none>   <none>   <none>           <none>
[root@k8s-master-01 affi]# kubectl get pods -o wide
NAME       READY   STATUS    RESTARTS   AGE   IP       NODE     NOMINATED NODE   READINESS GATES
affinity   0/1     Pending   0          10s   <none>   <none>   <none>           <none>
[root@k8s-master-01 affi]# kubectl get pods -o wide
NAME       READY   STATUS    RESTARTS   AGE   IP       NODE     NOMINATED NODE   READINESS GATES
affinity   0/1     Pending   0          11s   <none>   <none>   <none>           <none>

2）软策略

apiVersion: v1
kind: Pod
metadata:
  name: affinity
  labels:
    app: node-affinity-pod
spec:
  containers:
  - name: with-node-affinity
    image: wangyanglinux/myapp:v1
  affinity:  #亲和性设置
    nodeAffinity: #设置node亲和性
      preferredDuringSchedulingIgnoredDuringExecution: # 软限制
      - weight: 1
        preference:
          matchExpressions: # 匹配env的值的标签
          - key: kuberbetes.io/hostname
            operator: In
            values:
            - k8s-node03


#因为是软策略，我们没有node3节点，所以就直接随机在一个node上了。因为是软策略有的话就最好。

[root@k8s-master-01 affi]# kubectl apply -f pod1.yaml 
pod/affinity created
[root@k8s-master-01 affi]# kubectl get pods 
NAME       READY   STATUS    RESTARTS   AGE
affinity   1/1     Running   0          3s
[root@k8s-master-01 affi]# kubectl get pods  -o wide
NAME       READY   STATUS    RESTARTS   AGE   IP             NODE          NOMINATED NODE   READINESS GATES
affinity   1/1     Running   0          6s    10.244.1.100   k8s-node-01   <none>           <none>
继续测试
apiVersion: v1
kind: Pod
metadata:
  name: affinity
  labels:
    app: node-affinity-pod
spec:
  containers:
  - name: with-node-affinity
    image: wangyanglinux/myapp:v1
  affinity:  #亲和性设置
    nodeAffinity: #设置node亲和性
      preferredDuringSchedulingIgnoredDuringExecution: # 软限制
      - weight: 1
        preference:
          matchExpressions: # 匹配env的值的标签
          - key: kuberbetes.io/hostname
            operator: In
            values:
           - k8s-node01



#有node1的话，就调度到node1上了。
[root@k8s-master-01 affi]# kubectl apply -f pod1.yaml 
pod/affinity created
[root@k8s-master-01 affi]# kubectl get pods 
NAME       READY   STATUS    RESTARTS   AGE
affinity   1/1     Running   0          3s
[root@k8s-master-01 affi]# kubectl get pods  -o wide
NAME       READY   STATUS    RESTARTS   AGE   IP             NODE          NOMINATED NODE   READINESS GATES
affinity   1/1     Running   0          7s    10.244.1.102   k8s-node-01   <none>           <none>

软硬合体

apiVersion: v1
kind: Pod
metadata:
  name: affinity
  labels:
    app: node-affinity-pod
spec:
  containers:
  - name: with-node-affinity
    image: wangyanglinux/myapp:v1
  affinity:  #亲和性设置
    nodeAffinity: #设置node亲和性
      requireDuringSchedulingIgnoredDuringExecution:
        nodeSelectorTerms:
        - matchExpressions:
          - key: kubernetes.io/hostname
            operator: NotIn
            values:
            - k8s-node02
      preferredDuringSchedulingIgnoredDuringExecution: # 软限制
      - weight: 1
        preference:
          matchExpressions: # 匹配env的值的标签
          - key: kuberbetes.io/hostname
            operator: In
            values:
            - k8s-node01
键值运算关系

在这里插入图片描述

三、pod的亲和性(pod与pod之间)

pod.spec.affinity.podAffinity

requiredDuringSchedulingIgnoredDuringExecution 硬限制
preferredDuringSchedulingIgnoredDuringExecution 软限制

测试

apiVersion: v1
kind: Pod
metadata:
  name: node01
  labels:
    app: node01
spec:
  containers:
  - name: with-node-affinity
    image: wangyanglinux/myapp:v1


查看标签
[root@k8s-master-01 affi]# kubectl get pods -o wide
NAME     READY   STATUS    RESTARTS   AGE     IP             NODE          NOMINATED NODE   READINESS GATES
node01   1/1     Running   0          2m48s   10.244.1.104   k8s-node-01   <none>           <none>
[root@k8s-master-01 affi]# kubectl get pods --show-labels 
NAME     READY   STATUS    RESTARTS   AGE    LABELS
node01   1/1     Running   0          3m2s   app=node01

测试硬限制

apiVersion: v1
kind: Pod
metadata:
  name: pod-3
  labels:
    app: node01
spec:
  containers:
  - name: pod-3
    image: wangyanglinux/myapp:v1
  affinity:
    podAffinity:   #pod的亲和性
      requiredDuringSchedulingIgnoredDuringExecution: #硬限制
      - labelSelector:
          matchExpressions:
          - key: app
            operator: In
            values:
            - node01  #与上文创建标签对应
        topologyKey: kubernetes.io/hostname

#发现新部署的pod和上文部署的pod在一个节点上，`这是因为拓扑域的影响。拓扑域和标签关联的。

[root@k8s-master-01 affi]# kubectl apply -f pod3.yaml 
pod/pod-3 created
[root@k8s-master-01 affi]# kubectl get pods -o wide
NAME     READY   STATUS    RESTARTS   AGE    IP             NODE          NOMINATED NODE   READINESS GATES
node01   1/1     Running   0          39m    10.244.1.104   k8s-node-01   <none>           <none>
pod-3    1/1     Running   0          111s   10.244.1.105   k8s-node-01   <none>           <none>


#即使删除此新部署的pod，重新部署还是会和原来的pod再同一个节点上。



###测试不在同一个节点上
apiVersion: v1
kind: Pod
metadata:
  name: pod-3
  labels:
    app: node01
spec:
  containers:
  - name: pod-3
    image: wangyanglinux/myapp:v1
  affinity:
    podAntiAffinity:  #必须不在一个节点
      requiredDuringSchedulingIgnoredDuringExecution:
      - labelSelector:
          matchExpressions:
          - key: app
            operator: In   #必须跟app=node01的pod不在同一节点上运行
            values:
            - node01
        topologyKey: kubernetes.io/hostname


[root@k8s-master-01 affi]# kubectl apply -f pod3.yaml 
pod/pod-3 created
[root@k8s-master-01 affi]# kubectl get pods -o wide
NAME     READY   STATUS    RESTARTS   AGE   IP             NODE          NOMINATED NODE   READINESS GATES
node01   1/1     Running   0          52m   10.244.1.104   k8s-node-01   <none>           <none>
pod-3    1/1     Running   0          5s    10.244.2.124   k8s-node-02   <none>           <none>


注意：发现删除新部署的pod，重新部署之后，分布在不同的node节点上。

apiVersion: v1
kind: Pod
metadata:
  name: pod-3
  labels:
    app: node01
spec:
  containers:
  - name: pod-3
    image: wangyanglinux/myapp:v1
  affinity:
    podAffinity:
      requiredDuringSchedulingIgnoredDuringExecution:
      - labelSelector:
          matchExpressions:
          - key: app
            operator: In
            values:
            - node02
        topologyKey: kubernetes.io/hostname

#标签是node01，但是yaml文件写的是当app=node02，而且是硬限制。所以一会显示pending状态
[root@k8s-master-01 affi]# kubectl get pods --show-labels 
NAME     READY   STATUS    RESTARTS   AGE   LABELS
node01   1/1     Running   0          59m   app=node01
[root@k8s-master-01 affi]# kubectl apply -f pod3.yaml 
pod/pod-3 created
[root@k8s-master-01 affi]# kubectl get pods 
NAME     READY   STATUS    RESTARTS   AGE
node01   1/1     Running   0          60m
pod-3    0/1     Pending   0          5s


#重新给pod打标签app=node02，立马pod的状态变为running状态
[root@k8s-master-01 affi]# kubectl label pods node01 app=node02
error: 'app' already has a value (node01), and --overwrite is false
[root@k8s-master-01 affi]# kubectl label pods node01 app=node02 --overwrite
pod/node01 labeled
[root@k8s-master-01 affi]# kubectl get pods
NAME     READY   STATUS    RESTARTS   AGE
node01   1/1     Running   0          60m
pod-3    1/1     Running   0          42s

亲和性/反亲和性调度策略比较如下：

在这里插入图片描述

`topologyKey`用于指定调度时作用域,例如:
    如果指定为`kubernetes.io/hostname`，那就是以Node节点为区分范围
    如果指定为`beta.kubernetes.io/os,`则以Node节点的操作系统类型来区分
pod的配置项
pod.spec.affinity.podAffinity
  requiredDuringSchedulingIgnoredDuringExecution  硬限制
    namespaces       指定参照pod的namespace
    topologyKey      指定调度作用域
    labelSelector    标签选择器
      matchExpressions  按节点标签列出的节点选择器要求列表(推荐)
        key    键
        values 值
        operator 关系符 支持In, NotIn, Exists, DoesNotExist.
      matchLabels    指多个matchExpressions映射的内容
  preferredDuringSchedulingIgnoredDuringExecution 软限制
    podAffinityTerm  选项
      namespaces      
      topologyKey
      labelSelector
        matchExpressions  
          key    键
          values 值
          operator
        matchLabels 
    weight 倾向权重，在范围1-100

合体

apiVersion: v1
kind: Pod
metadata:
  name: pod-3
  labels:
    app: node01
spec: 
  containers: 
  - name: pod-3 
    image: wangyanglinux/myapp:v1
  affinity: 
    podAffinity:
      requiredDuringSchedulingIgnoredDuringExecution:
      - labelSelector:
          matchExpressions:
          - key: app
            operator: In
            values:
            - node02
        topologyKey: kubernetes.io/hostname
    podAntiAffinity:
      preferredDuringSchedulingIgnoredDuringExecution:
      - weight: 1
        podAffinityTerm:
          labelSelector: 
            matchExpressions:
            - key: app
              operator: In
              values: 
              - pod-2

        topologyKey: kubernetes.io/hostname

参考文章：

https://www.cnblogs.com/sdrbg/category/1521817.html
https://blog.csdn.net/weixin_46837396/article/details/119897561
weixin_46837396
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
2、Kubernetes 调度器 - 调度亲和性1
08-04
Kubernetes 调度器 - 调度亲和性 Kubernetes 调度器是 Kubernetes 集群中一个核心组件，负责将 pod 分配到合适的节点上。调度亲和性是 Kubernetes 调度器中的一种策略，用于控制 pod 的调度过程。调度亲和性可以...
Slurm集群调度策略详解（1）-主调度
h_m_l的博客
11-10 3961
Slurm调度系统中针对作业的调度主要有三种，主调度，回填调度，GANG调度，这篇文章主要针对主调度进行解析。
k8s-集群调度
渐行渐远的博客
04-14 98
k8s-集群调度 一 调度器简介 1.1 介绍 Scheduler 是 kubernetes 的调度器，主要的任务是把定义的 pod 分配到集群的节点上。听起来非常简单，但有很多要考虑的问题： 公平：如何保证每个节点都能被分配资源资源高效利用：集群所有资源最大化被使用 效率：调度的性能要好，能够尽快地对大批量的 pod 完成调度工作 灵活：允许用户根据自己的需求控制调度的逻辑Sheduler ...
《从0开始学大数据》之分布式集群资源调度框架 Yarn
CJJ的博客
01-22 402
极客时间《从0开始学大数据》学习笔记
Kubernetes(七)：集群调度
学习记录和总结
08-14 388
Kubernetes调度器的介绍和使用以及调度选择：Node、Pod亲和性，Taint、Toleration和指定调度节点的使用
Kubernetes集群Pod资源亲和性调度（十六）
热门推荐
江晓龙的博客
07-27 1万+
Kubernetes集群Pod资源亲和性调度 定向调度使用起来非常方便，但是也有一定的问题，如果没有满足条件的node，pod不会允许，即使集群中还有可用的node列表也无法运行该node，从而限制了使用场景 基于定向调度的缺点，k8s提供了亲和性调度，在NodeSelector的基础之上进行了扩展，可用通过配置的形式，实现优先选择满足条件的node进行调度，如果没有匹配的node，也可以调度到不满足条件的节点上，调度更加灵活 所谓亲和性调度就是站在不同的角度，与谁亲就和谁调度在一起 亲和性调度分为三类：
kubernetes调度原理详解
04-19
亲和性和反亲和性是 Kubernetes 集群中的调度策略，用于指定 Pod 的调度位置。亲和性是指两个或多个 Pod 之间的亲和关系，例如两个应用需要紧密合作的场景。反亲和性是指两个或多个 Pod 之间的反亲和关系，例如两个...
阿基米德集群管理与调度系统介绍.pptx
10-15
系统采用机器学习算法，结合CPU超分、内存超分等技术，确保容器IP不变，同时考虑亲和与反亲和性，实现资源分配的均衡和效率。此外，阿基米德调度器还引入了节点负载保护机制，通过秒级监控数据提升容器部署密度，以...
基于k8s的zookeeper集群
08-20
这个文件很可能包含了Zookeeper集群的详细配置，包括Pod规格、服务定义、亲和性和反亲和性规则，以及可能的持久化存储设置。 总结这些知识点，我们可以理解这是一个关于如何在Kubernetes中搭建和配置高可用...
Kubernetes之应用部署调度策略测试用例
09-24
综上所述，Kubernetes应用部署调度策略的测试用例设计需要全面覆盖资源管理、亲和性、选择器、优先级、QoS、扩展性、故障恢复、自定义调度和一致性等多个方面。通过详尽的测试，可以确保Kubernetes在复杂环境中能够...
kubernetes集群调度策略及调度原理
耕耘
06-28 1607
前言： 大部分情况下，kubernetes中的Pod只是容器的载体，通过Deployment、DaemonSet、RC、Job、Cronjob等对象来完成一组Pod的调度与自动控制功能。 Pod调度是由Scheduler组件完成的，可见图中位置。Scheduler工作原理pod创建流程及Scheduler调度步骤：官网解析：Kubernetes Scheduler | Kubernetes kube-scheduler 给一个 pod 做调度选择包含两个步骤： 1.过滤(节点预选),2.打分（节点优选，节点
【 K8S 】 群集调度
2302_76410765的博客
08-10 360
【代码】【 K8S 】 群集调度。
k8s-----集群调度
A1100886的博客
08-10 800
pod 这个过程包含以下几个步骤 （1）调度到某台 node 上。kubernetes 根据一定的优先级算法选择一台 node 节点将其作为 Pod 运行的 node （2）拉取镜像 （3）挂载存储配置等 （4）容器运行起来。如果有健康检查，会根据检查的结果来设置其状态。
K8S：pod集群调度及相关操作
Katie_ff的博客
09-20 1088
本文主要概括了pod集群调度的概念及相关示例，pod的亲和性（节点亲和和饭亲和性）的概念及示例介绍，污点和容忍的使用场景、概念及相关示例，相关维护操作（cordon调度器和drain命令释放不接受pod进程），pod的启动过程以及在pod中遇见故障如何排错
12. 集群调度
木易进
04-18 1021
文章目录简介调度过程自定义调度器调度亲和性Node亲和性preferredDuringSchedulingIgnoredDuringExecutionrequiredDuringSchedulingIgnoredDuringExecution合并（软硬策略同时存在）Pod亲和性软硬策略示例Taint&Toleration(污点和容忍)Taint污点Taint的组成设置、查看和去除TaintToleration容忍当不指定 key 值时，表示容忍所有的污点 key当不指定 effect 值时，表示容忍
集群调度框架的架构演进过程
在努力！
07-21 6102
原文：The evolution of cluster scheduler architectures 作者：Malte Schwarzkopf 之前组会上，有幸与大家探讨 Firmament: Fast, Centralized Cluster Scheduling at Scale 这篇文章（OSDI 2016），文章的作者同时发表了一篇博文，讲述了集群中调度框架的演进过程，读...
K8S 集群调度
elihe2011的专栏
12-21 692
1. 集群调度 k8s 调度器 scheduler，它以独立的程序允许，启动后和一直和 APIServer 连接，获取 PodSpec.NodeName 为空的 pod， 然后将其 binding 调度到合适的的节点上。需考虑如下问题： 公平： 如何确保每个节点都被分配 资源高利用率：集群资源最大化被使用 效率：调度性能要好，能够快速完成大批量的 pod 调度 灵活：允许用户个性化调度需求 2. 调度过程 总结：预选 + 优选 2.1 Predicate 预选 作用：首先过滤掉不满足条件的节点 过程：如
Kubernetes 集群调度（节点亲和性、Pod亲和性、Taint与Toleration）
果子哥丶的博客
10-06 4414
一、简介， 二、调度过程， 三、自定义调度器， 四、节点亲和性（pod与node的亲和性）， 五、Pod亲和性（pod与pod之间的亲和性）， 六、Taint 和 Toleration： 污点 (Taint)、 容忍(Tolerations)、 八、指定调度节点
K8S Label 和 Selector
elihe2011的专栏
12-27 2403
1.Label 标签(labels)：附加到 k8s 对象上的键值对。用于指定对用户有意义且相关的对象的标识属性。 示例标签： "release" : "stable", "release" : "canary" "environment" : "dev", "environment" : "qa", "environment" : "production" "tier" : "frontend", "tier" : "backend", "tier" : "cache" "partition" : "c
k8s pod反亲和性
最新发布
09-28
pod的反亲和性是指将多个相关的pod对象调度到不同的位置，以增加系统的可用性和容错能力。在Kubernetes中，可以通过设置topologyKey来实现pod的反亲和性。topologyKey是用于筛选节点的标签键，可以选择不同的topologyKey来将pod调度到不同的拓扑域中，如不同的节点、机柜、机房或地区。通过这种方式，可以实现跨集群、跨机房或跨地区的调度。 需要注意的是，对于亲和性和requiredDuringSchedulingIgnoredDuringExecution的pod反亲和性，topologyKey不能为空。而对于preferredDuringSchedulingIgnoredDuringExecution的pod反亲和性，空的topologyKey表示所有拓扑域。在Kubernetes版本1.12之前，所有拓扑域只能是kubernetes.io/hostname、failure-domain.beta.kubernetes.io/zone和failure-domain.beta.kubernetes.io/region的组合。除此之外，topologyKey可以是任何合法的标签键。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值