Pod 的高级调度策略

最新推荐文章于 2024-07-23 22:45:14 发布
最新推荐文章于 2024-07-23 22:45:14 发布
阅读量719 收藏 9
点赞数 17
文章标签： kubernetes 容器 docker 云原生 微服务 kubelet openstack
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2302_79515116/article/details/139997988
版权

Pod 的高级调度策略

污点策略:

什么是污点策略：

污点是使节点与Pod产生排斥的一类规则

污点策略怎么实现的： 污点策略通过嵌合在键值对上的污点标签进行声明

污点标签：

尽力不调度： PreferNoSchedule

不会被调度：Noschdule

驱逐节点： NoExecute

概述：

管理污点标签：

污点标签必须绑定在键值对上，格式：   key=value:[污点标签]

查看污点： kubectl  describe   nodes   [节点名字]

设置污点标签： kubectl     taint       node       [节点名字]    key=value:污点标签

删除污点标签： kubectl   taint      node      [节点名字]    key=value:污点标签

案例：

```
# 查看污点策略
[root@master ~]# kubectl describe nodes|grep Taints
Taints:             node-role.kubernetes.io/master:NoSchedule
Taints:             <none>
Taints:             <none>
Taints:             <none>
Taints:             <none>
Taints:             <none>

# node-0001 设置污点策略 PreferNoSchedule
[root@master ~]# kubectl taint node node-0001 k=v1:PreferNoSchedule
node/node-0001 tainted

# node-0002 设置污点策略 NoSchedule
[root@master ~]# kubectl taint node node-0002 k=v2:NoSchedule
node/node-0002 tainted

[root@master ~]# kubectl describe nodes |grep Taints
Taints:             node-role.kubernetes.io/master:NoSchedule
Taints:             k=v1:PreferNoSchedule
Taints:             k=v2:NoSchedule
Taints:             <none>
Taints:             <none>
Taints:             <none>
```

#### Pod 资源文件

```
[root@master ~]# vim myphp.yaml
---
kind: Pod
apiVersion: v1
metadata:
  name: myphp
spec:
  containers:
  - name: php
    image: myos:php-fpm
    resources:
      requests:
        cpu: 1500m
```

#### 验证污点策略

```
# 优先使用没有污点的节点
[root@master ~]# sed "s,myphp,php1," myphp.yaml |kubectl apply -f -
pod/php1 created
[root@master ~]# sed "s,myphp,php2," myphp.yaml |kubectl apply -f -
pod/php2 created
[root@master ~]# sed "s,myphp,php3," myphp.yaml |kubectl apply -f -
pod/php3 created
[root@master ~]# kubectl get pods -o wide
NAME   READY   STATUS    RESTARTS   AGE   IP            NODE
php1   1/1     Running   0          13s   10.244.3.35   node-0003
php2   1/1     Running   0          5s    10.244.4.32   node-0004
php3   1/1     Running   0          5s    10.244.5.34   node-0005

# 最后使用 PreferNoSchedule 节点
[root@master ~]# sed 's,myphp,php4,' myphp.yaml |kubectl apply -f -
pod/php4 created
[root@master ~]# kubectl get pods -o wide
NAME   READY   STATUS    RESTARTS   AGE   IP            NODE
php1   1/1     Running   0          13s   10.244.3.35   node-0003
php2   1/1     Running   0          5s    10.244.4.32   node-0004
php3   1/1     Running   0          5s    10.244.5.34   node-0005
php4   1/1     Running   0          80s   10.244.1.33   node-0001

# 不会使用 NoSchedule 节点
[root@master ~]# sed 's,myphp,php5,' myphp.yaml |kubectl apply -f -
pod/php5 created
[root@master ~]# kubectl get pods -o wide
NAME   READY   STATUS    RESTARTS   AGE   IP            NODE
php1   1/1     Running   0          53s   10.244.3.35   node-0003
php2   1/1     Running   0          65s   10.244.4.32   node-0004
php3   1/1     Running   0          75s   10.244.5.34   node-0005
php4   1/1     Running   0          80s   10.244.1.33   node-0001
php5   0/1     Pending   0          5s    <none>        <none>
```

#### 验证污点策略

```
# NoSchedule 不会影响已经创建的 Pod
[root@master ~]# kubectl taint node node-0003 k=v3:NoSchedule
node/node-0003 tainted
[root@master ~]# kubectl describe nodes |grep Taints
Taints:             node-role.kubernetes.io/master:NoSchedule
Taints:             k=v1:PreferNoSchedule
Taints:             k=v2:NoSchedule
Taints:             k=v3:NoSchedule
[root@master ~]# kubectl get pods -o wide
NAME   READY   STATUS    RESTARTS   AGE   IP            NODE
php1   1/1     Running   0          53s   10.244.3.35   node-0003
php2   1/1     Running   0          65s   10.244.4.32   node-0004
php3   1/1     Running   0          75s   10.244.5.34   node-0005
php4   1/1     Running   0          80s   10.244.1.33   node-0001
php5   0/1     Pending   0          5s    <none>        <none>

# NoExecute 会删除节点上的 Pod
[root@master ~]# kubectl taint node node-0004 k=v4:NoExecute
node/node-0004 tainted
[root@master ~]# kubectl describe nodes |grep Taints
Taints:             node-role.kubernetes.io/master:NoSchedule
Taints:             k=v1:PreferNoSchedule
Taints:             k=v2:NoSchedule
Taints:             k=v3:NoSchedule
Taints:             k=v4:NoExecute
[root@master ~]# kubectl get pods -o wide
NAME   READY   STATUS    RESTARTS   AGE   IP            NODE
php1   1/1     Running   0          53s   10.244.3.35   node-0003
php3   1/1     Running   0          75s   10.244.5.34   node-0005
php4   1/1     Running   0          80s   10.244.1.33   node-0001
php5   0/1     Pending   0          5s    <none>        <none>
```

容忍策略是什么：

某些时候我们需要在有污点的节点上运行Pod，这种无视污点标签的调度方式成为容忍

模糊匹配：

```
# 容忍 k=*:NoSchedule 污点
[root@master ~]# vim myphp.yaml
---
kind: Pod
apiVersion: v1
metadata:
  name: myphp
spec:
  tolerations:
  - operator: Exists     # 部分匹配，存在即可
    key: k               # 键
    effect: NoSchedule   # 污点标签
  containers:
  - name: php
    image: myos:php-fpm
    resources:
      requests:
        cpu: 1500m

[root@master ~]# for i in php{1..5};do sed "s,myphp,${i}," myphp.yaml ;done|kubectl apply -f -
pod/php1 created
pod/php2 created
pod/php3 created
pod/php4 created
pod/php5 created
[root@master ~]# kubectl get pods -o wide
NAME   READY   STATUS    RESTARTS   AGE   IP            NODE
php1   1/1     Running   0          6s    10.244.1.12   node-0001
php2   1/1     Running   0          6s    10.244.2.21   node-0002
php3   1/1     Running   0          6s    10.244.3.18   node-0003
php3   1/1     Running   0          6s    10.244.4.24   node-0004
php5   1/1     Pending   0          6s    <none>        <none>
```

精确匹配：

```
# 容忍 k=v1:NoSchedule 污点
[root@master ~]# vim myphp.yaml
---
kind: Pod
apiVersion: v1
metadata:
  name: myphp
spec:
  tolerations:
  - operator: Equal      # 完全匹配键值对
    key: k               # 键
    value: v1            # 值
    effect: NoSchedule   # 污点标签
  containers:
  - name: php
    image: myos:php-fpm
    resources:
      requests:
        cpu: 1500m

[root@master ~]# for i in php{1..3};do sed "s,myphp,${i}," myphp.yaml ;done|kubectl apply -f -
pod/php1 created
pod/php2 created
pod/php3 created
[root@master ~]# kubectl get pods -o wide
NAME   READY   STATUS    RESTARTS   AGE   IP            NODE
php1   1/1     Running   0          6s    10.244.1.10   node-0001
php2   1/1     Running   0          6s    10.244.2.11   node-0002
php3   1/1     Pending   0          6s    <none>        <none>
```

优先级概述：

什么是优先级： 优先级表示一个Pod相对于其他Pod的重要性。

有什么用： 可以保证重要的Pod被调度运行

如何使用优先级和抢占: 配置优先级类PriorityClass             创建Pod时为其设置对应的优先级

PriorityClass  是一个全局资源对象，它定义了从优先级类名称到优先级整数值的映射。优先级在value字段中指定，可以设置小于10亿的整数值，值越大，优先级越高

PriorityClass有两个可选字段：

globalDefault  用于设置默认优先级状态，如果没有任何优先级设置Pod的优先级为零

description  用来配置描述性信息，告诉用户优先级的用途

优先级策略：

非抢占优先： 指的是在调度阶段优先进行调度分配，一旦容器调度完成就不可以抢占，资源不足时，只能等待

案例：

### 非抢占优先级

```
# 定义优先级（队列优先）
[root@master ~]# vim mypriority.yaml
---
kind: PriorityClass
apiVersion: scheduling.k8s.io/v1
metadata:
  name: high-non
preemptionPolicy: Never
value: 1000

---
kind: PriorityClass
apiVersion: scheduling.k8s.io/v1
metadata:
  name: low-non
preemptionPolicy: Never
value: 500

[root@master ~]# kubectl apply -f mypriority.yaml 
priorityclass.scheduling.k8s.io/high-non created
priorityclass.scheduling.k8s.io/low-non created
[root@master ~]# kubectl get priorityclasses.scheduling.k8s.io 
NAME                      VALUE        GLOBAL-DEFAULT   AGE
high-non                  1000         false            12s
low-non                   500          false            12s
system-cluster-critical   2000000000   false            45h
system-node-critical      2000001000   false            45h
# 无优先级的 Pod
[root@master ~]# cat php1.yaml 
---
kind: Pod
apiVersion: v1
metadata:
  name: php1
spec:
  nodeSelector:
    kubernetes.io/hostname: node-0004
  containers:
  - name: php
    image: myos:php-fpm
    resources:
      requests:
        cpu: "1500m"

# 低优先级 Pod
[root@master ~]# cat php2.yaml 
---
kind: Pod
apiVersion: v1
metadata:
  name: php2
spec:
  nodeSelector:
    kubernetes.io/hostname: node-0004
  priorityClassName: low-non      # 优先级名称
  containers:
  - name: php
    image: myos:php-fpm
    resources:
      requests:
        cpu: "1500m"

# 高优先级 Pod
[root@master ~]# cat php3.yaml 
---
kind: Pod
apiVersion: v1
metadata:
  name: php3
spec:
  nodeSelector:
    kubernetes.io/hostname: node-0004
  priorityClassName: high-non     # 优先级名称
  containers:
  - name: php
    image: myos:php-fpm
    resources:
      requests:
        cpu: "1500m"
```

### 验证非抢占优先

```
[root@master ~]# kubectl apply -f php1.yaml 
pod/php1 created
[root@master ~]# kubectl apply -f php2.yaml 
pod/php2 created
[root@master ~]# kubectl apply -f php3.yaml 
pod/php3 created
[root@master ~]# kubectl get pods
NAME   READY   STATUS    RESTARTS   AGE
php1   1/1     Running   0          9s
php2   0/1     Pending   0          6s
php3   0/1     Pending   0          4s
[root@master ~]# kubectl delete pod php1
pod "php1" deleted
[root@master ~]# kubectl get pods
NAME   READY   STATUS    RESTARTS   AGE
php2   0/1     Pending   0          20s
php3   1/1     Running   0          18s

# 清理实验 Pod
[root@master ~]# kubectl delete pod php2 php3
```

抢占优先： 强制调度一个Pod，如资源不足无法被调度，调度程序会抢占（删除）较低优先级的Pod的资源，来保证优先级Pod的运行

案例：

### 抢占策略

```
[root@master ~]# vim mypriority.yaml
---
kind: PriorityClass
apiVersion: scheduling.k8s.io/v1
metadata:
  name: high-non
preemptionPolicy: Never
value: 1000

---
kind: PriorityClass
apiVersion: scheduling.k8s.io/v1
metadata:
  name: low-non
preemptionPolicy: Never
value: 500

---
kind: PriorityClass
apiVersion: scheduling.k8s.io/v1
metadata:
  name: high
preemptionPolicy: PreemptLowerPriority
value: 1000

---
kind: PriorityClass
apiVersion: scheduling.k8s.io/v1
metadata:
  name: low
preemptionPolicy: PreemptLowerPriority
value: 500

[root@master ~]# kubectl apply -f mypriority.yaml 
priorityclass.scheduling.k8s.io/high created
priorityclass.scheduling.k8s.io/low created
[root@master ~]# kubectl get priorityclasses.scheduling.k8s.io  
NAME                      VALUE        GLOBAL-DEFAULT   AGE
high                      1000         false            4s
high-non                  1000         false            2h
low                       500          false            4s
low-non                   500          false            2h
system-cluster-critical   2000000000   false            21d
system-node-critical      2000001000   false            21d
```

### 验证抢占优先级

```
# 替换优先级策略
[root@master ~]# sed 's,-non,,' -i php?.yaml

# 默认优先级 Pod
[root@master ~]# kubectl apply -f php1.yaml 
pod/php1 created
[root@master ~]# kubectl get pods
NAME   READY   STATUS    RESTARTS   AGE
php1   1/1     Running   0          6s

# 高优先级 Pod
[root@master ~]# kubectl apply -f php3.yaml
pod/php3 created
[root@master ~]# kubectl get pods
NAME   READY   STATUS    RESTARTS   AGE
php3   1/1     Running   0          9s

# 低优先级 Pod
[root@master ~]# kubectl apply -f php2.yaml
pod/php2 created
[root@master ~]# kubectl get pods
NAME   READY   STATUS    RESTARTS   AGE
php2   0/1     Pending   0          3s
php3   1/1     Running   0          9s

# 清理实验 Pod
[root@master ~]# kubectl delete pod --all
pod "php2" deleted
pod "php3" deleted
[root@master ~]# kubectl delete -f mypriority.yaml 
priorityclass.scheduling.k8s.io "high-non" deleted
priorityclass.scheduling.k8s.io "low-non" deleted
priorityclass.scheduling.k8s.io "high" deleted
priorityclass.scheduling.k8s.io "low" deleted
```

特权容器：

什么是特权容器： 就是通过名称空间技术隔离的，有时候我们执行一些应用服务，需要使用或修改敏感的系统信息，这时容器需要突破隔离限制，获取更高的权限，这类容器统称特权容器

运行特权容器会有一些安全风险，这种模式下运行容器对宿主机拥有root访问权限，可以突破隔离直接控制宿主机的资源配置

Pod 安全性

什么是Pod安全策略： 是指集群级别的资源，它能够控制Pod运行的行为，以及它具有访问什么的能力

如何使用Pod安全策略：kubernetes服务器版本不能低于v1.22   确保PodSecurity 特性门控被启用

Pod安全策略概述：

PodSecurity提供一种内置的Pod安全性准入控制器，作为PodSecurityPolicies特性的后续演化版本。Pod安全性限制是在Pod被创建时，在名字空间层面实施的

Pod安全性标准定义了三种不同的策略，以广泛覆盖安全应用场景。这些策略是渐进式的，安全级别从高度宽松至高度受限

kubernetes 定义了一组标签，你可以设置这些标签来定义某个名字空间上Pod安全标准级别。你所选择的标签定义了检测到潜在违例时，所要采取的动作。

enforce(强制性):策略违例会导致Pod被拒绝

audit(审计)：策略违例会触发审计日志，但是Pod仍是被接受的

warn（警告）：策略违例会触发用户可见的警告信息，但是Pod仍是被接受的

案例：

```
# 生产环境设置严格的准入控制
[root@master ~]# kubectl create namespace myprod
namespace/myprod created
[root@master ~]# kubectl label namespaces myprod pod-security.kubernetes.io/enforce=restricted
namespace/myprod labeled

# 测试环境测试警告提示
[root@master ~]# kubectl create namespace mytest
namespace/mytest created
[root@master ~]# kubectl label namespaces mytest pod-security.kubernetes.io/warn=baseline
namespace/mytest labeled

# 创建特权容器
[root@master ~]# kubectl -n myprod apply -f root.yaml 
Error from server (Failure): error when creating "root.yaml": host namespaces (hostNetwork=true, hostPID=true), privileged (container "linux" must not set securityContext.privileged=true), allowPrivilegeEscalation != false (container "linux" must set securityContext.allowPrivilegeEscalation=false), unrestricted capabilities (container "linux" must set securityContext.capabilities.drop=["ALL"]), runAsNonRoot != true (pod or container "linux" must set securityContext.runAsNonRoot=true), seccompProfile (pod or container "linux" must set securityContext.seccompProfile.type to "RuntimeDefault" or "Localhost")
[root@master ~]# 
[root@master ~]# kubectl -n myprod get pods
No resources found in myprod namespace.

[root@master ~]# kubectl -n mytest apply -f root.yaml                                    
Warning: would violate "latest" version of "baseline" PodSecurity profile: host namespaces (hostNetwork=true, hostPID=true), privileged (container "linux" must not set securityContext.privileged=true)
pod/root created
[root@master ~]# 
[root@master ~]# kubectl -n mytest get pods               
NAME   READY   STATUS    RESTARTS   AGE
root   1/1     Running   0          7s
[root@master ~]# 
```

乐洋洋23
关注
  • 17
    点赞
  • 踩
  • 9
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
几种超实用的 Kubernetes Pod 高级调度策略
easylife206的专栏
05-15 536
公众号关注「奇妙的 Linux 世界」设为「星标」，每天带你玩转 Linux ！在 Kubernetes 中，将 pod 调度到集群中特定节点的任务由 kube-scheduler 完成. 该组件的默认行为是根据创建的 pod 中每个容器的资源请求和限制来过滤节点。然后对可用节点进行评分，以找到最适合放置 pod 的节点。在很多场景下，基于资源约束调度 Pod 是一种理...
Kubernetes中Pod的调度策略
YIYIYI
07-06 1238
Kubernetes中Pod的调度策略
Pod高级调度策略,污点与容忍,pod抢占优先级,pod安全性
2301_81865838的博客
02-27 335
在现在的k8s中不太常用,企业中策略是如果资源不够,那么就给机器扩容去,而不是抢占优先。/etc/hosts 需要在文件列表清单里面设置.在容器里面设置没有用。能用非抢占优先最好先使用非抢占优先。不被优先选择在该节点上创建。
k8s---高级pod&调度
Chenwei的博文
04-20 615
目录pod进阶pod重启策略健康检查——探针调度约束调度方式故障排除 pod进阶 limits.cup:cpu上限 limits.memory:内存上限 requests.cpu:创建时分配的基本CPU资源 requests.memory:创建时分配的基本内存资源 例如： apiVersion: v1 kind: Pod metadata: name: frontend spec: containers: - name: db image: mysql env: -
详解 K8S Pod 高级调度
u012516914的专栏
12-08 344
在 Kubernetes 中，将 pod 调度到集群中特定节点的任务由 kube-scheduler 完成. 该组件的默认行为是根据创建的 pod 中每个容器的资源请求和限制来过滤节点。然...
Pod调度
K要努力的博客
09-17 138
Pod调度之nodeSelector；nodeName；tolerations
kubernetes pod调度策略
开开的博客
09-04 770
Toleration（容忍） Tain（污点）和label（标签） 1、NoSchedule:K8Snode添加这个effecf类型污点，新的不能容忍的pod不能再调度过来，但是老的运行在node上不受影响 2、NoExecute：K8Snode添加这个effecf类型污点，新的不能容忍的pod不能调度过来，老的pod也会被驱逐 3、PreferNoSchedule：pod会尝试将pod分配到该节点 Affinity（亲和性） 1、硬亲和： 2、软亲和
这应该是最全的Pod调度策略
Dou_Hua_Hua的博客
08-18 1790
首先说明，文章很长很长很长很长????......建议先收藏 API Server接受客户端提交Pod对象创建请求后的操作过程中，有一个重要的步骤就是由调度器程序kube-scheduler从当前集群中选择一个可用的最佳节点来接收并运行它，通常是默认的调度器kube-scheduler负责执行此类任务。对于每个待创建的Pod对象来说，调度过程通常分为两个阶段—》过滤—》打分，过滤阶段用来过滤掉不符合调度规则的Node，打分阶段建立在过滤阶段之上，为每个符合调度的Node进行打分，分值越高则被调度到该Node
pod调度策略，一篇就够
kismile
05-16 2454
文章目录调度策略预选策略--必须全部满足优选策略高级调度Toleration（容忍）Tain（污点）和label（标签）Affinity（亲和性） 调度策略 k8s的调度策略分为predicates（预选策略）和priorites（优选策略），整个调度过程分俩步 预选策略，predicates是强制性规则，遍历所有的node节点，安装具体的预选策略筛选出符合要求的node列表，如果没有nod...
15 深入解析Pod对象（二）：使用进阶.pdf
09-18
Pod 对象的使用进阶，不仅涉及 Pod 的基本概念和操作，还包括如何通过副本集保证服务高可用、如何实现数据持久化、如何利用网络模型和初始化容器优化部署流程，以及如何通过亲和性和反亲和性策略进行资源调度。...
容器云调度优化及实践共29页.pdf.zip
11-08
本文档“容器云调度优化及实践”深入探讨了如何有效地利用容器云平台，通过优化调度策略来提升系统性能和资源利用率。以下是对其中关键知识点的详细阐述： 1. **容器技术**：容器是一种轻量级的虚拟化技术，它通过...
Kubernetes高级教程营销培训视频.zip
12-10
22k8s极速入门课程进阶Pod进阶Pod调度约束方法mp4 23k8s极速入门课程进阶Pod进阶 Pod, mp4 24k8s极速入门课程进阶 Controller进阶场景学习目标学习步骤mp4 25k8s极速入门课程进阶 Controller进阶 Deployment,...
互联网Kubernetes调度系统概述.pdf
10-15
为了解决实例上下线预热、腾挪耗时不可控等问题，蚂蚁金服开发了资源分时调度策略。通过Kubernetes的Node分时调度Agent，实现了Pod资源的高效利用。这一策略在双十一期间成功地实现了数万台应用Pods的分钟级链路切换...
高级：K8S（kubernetes）云计算案例实战.rar
09-13
2. Deployment：定义Pod的复制策略和期望状态，确保Pod的可用性。 3. Service：定义一组Pod的访问策略，提供稳定的网络标识和服务发现。 4. ConfigMap/Secrets：存储非敏感配置和敏感数据，供Pod内的应用使用。 5. ...
k8s云原生技术栈(脑图)
晴空的博客
07-23 646
Kubernetes (K8s) 是一种开源的容器编排引擎，用于自动化应用程序容器的部署、扩展和操作。它由Google设计并捐赠给Cloud Native Computing Foundation（CNCF）进行维护。Kubernetes 提供了一个强大的平台，用于构建和管理容器化应用程序的解决方案。
K3s部署及研究
Januea的博客
07-22 1019
K3s部署及研究
【k8s故障处理篇】calico-kube-controllers状态为“ImagePullBackOff”解决办法
jks212454的博客
07-22 307
【k8s故障处理篇】calico-kube-controllers状态为“ImagePullBackOff”解决办法
K8s-控制器
最新发布
l6xy6的博客
07-23 674
2.编辑RS控制器：kubectl -n lxy edit rs nginx-rs (有些是无法修改)获取当前rs资源的Yaml: kubectl -n lxy get rs nginx-rs -oyaml。1.对yaml修改副本数，修改资源配置：kubectl apply -f rs-nginx.yml。2.控制器可以帮助用户监控，并保证节点上运行定义好的pod副本数。3.pod超过或低于用户期望，控制器会创建、删除pod副本数量。作用：1.pod类型资源删除，不会重建。
Kubernetes深度解析：从基础到高级
17. Taint和Toleration是Node上的标记，用于控制Pod的调度策略，可以防止某些Pod被调度到特定的Node上。 18. 用户指南部分介绍了如何配置资源对象，如设置liveness和readiness探针以检测Pod健康，配置Service...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值