k8s资源控制（污点和容忍）

最新推荐文章于 2024-03-04 16:13:55 发布
最新推荐文章于 2024-03-04 16:13:55 发布
阅读量1k 收藏 1
点赞数
分类专栏： Docker技术集群与应用 文章标签： 容器
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_44135433/article/details/121486234
版权

文章目录

一： 污点

1.1 污点的作用

节点亲和性,是Pod的一种属性(偏好或硬性要求) ,它使Pod被吸引到一类特定的节点。Taint则相反,它使节点能够排斥一类特定的PodTaint和Toleration相互配合,可以用来避免Pod被分配到不合适的节点上。每个节点上都可以应用一个或多个taint

,这表示对于那些不能容忍这些taint的Pod,是不会被该节点接受的。如果将toleration应用于Pod上,则表示这些Pod

可以(但不一定)被调度到具有匹配taint的节点上。

使用kubectl taint命令可以给某个Node节点设置污点, Node被设置上污点之后就和Pod之间存在了一种相斥的关系,可以让Node拒绝Pod的调度执行,甚至将Node已经存在的Pod驱逐出去。

1.2 污点的组成

污点的组成格式如下:key-value:effect

每个污点有一个key和value作为污点的标签,其中value可以为空, effect描述污点的作用。

当前taint effect支持如下三个选项:

  • NoSchedule:表示k8s将不会将Pod调度到具有该污点的Node上
  • PreferNoschedule:表示k8s将尽量避免将Pod调度到具有该污点的Node上
  • NoExecute:表示k8s将不会将Pod调度到具有该污点的Node上,同时会将Node上已经存在的Pod驱逐出去
[root@master ~]# kubectl  describe  nodes  master  | grep -i 'taints'
Taints:             node-role.kubernetes.io/master:NoSchedule

image-20211109162935856

1.3 设置，查看，去除污点

#为node01节点设置污点 key1=value1:NoSchedule.  NoSchedule便是pod不调度到这个节点
[root@master ~]# kubectl  taint  nodes node01 key1=value1:NoSchedule
node/node01 tainted

#通过describe 查看节点详细信息查看污点，并不区分大小写过滤 ‘key'
[root@master ~]# kubectl  describe node node01 | grep -i 'key1'
Taints:             key1=value1:NoSchedule
[root@master ~]# 
#删除node01的污点key1:NoSchedule
[root@master ~]# kubectl  taint  node node01 key1:NoSchedule-
node/node01 untainted
[root@master ~]# kubectl  describe node node01 | grep -i 'key1'

image-20211109163243209

1.4 示例

[root@master demo]# kubectl  get pods -o wide
NAME      READY   STATUS    RESTARTS   AGE   IP             NODE     NOMINATED NODE   READINESS GATES
myapp01   1/1     Running   0          29s   10.244.1.143   node01   <none>           <none>
myapp02   1/1     Running   0          17s   10.244.2.110   node02   <none>           <none>
myapp03   1/1     Running   0          9s    10.244.1.144   node01   <none>           <none>
[root@master demo]# 

#设置node01节点，不允许将pod调度到上面，同时还会驱逐该节点上的pod
[root@master demo]# kubectl  taint  node node01 check=mycheck:NoExecute
node/node01 tainted

#node01节点上的pod被驱逐
[root@master demo]# kubectl  get pods -o wide
NAME      READY   STATUS    RESTARTS   AGE   IP             NODE     NOMINATED NODE   READINESS GATES
myapp02   1/1     Running   0          84s   10.244.2.110   node02   <none>           <none>

注意：如果是Deployment或者StateFulSet资源类型，为了未出副本数量，则会在其他的node上创建新的pod

image-20211109164139786

二：容忍

2.1 容忍的作用

容忍(Tolerations)

设置了污点的Node将根据taint的effect : Noschedule, PreferNoschedule, NoExecute和Pod之间产生互斥的关系, Pod将在一定程度上不会被调度到Node上。但我们可以在Pod上设置容忍(Tolerations) ,意思是设置了容忍的Pod

将可以容忍污点的存在,可以被调度到存在污点的Node上。

2.2 示例

2.2.1 将两个节点都设置污点

#将node02也打上污点NoExecute。node01和node02都有此污点
[root@master demo]# kubectl  taint  node node02 check=mycheck:NoExecute
node/node02 tainted

[root@master demo]# vim pod3.yaml 
apiVersion: v1
kind: Pod
metadata:
  name: myapp01
  labels:
    app: myapp01
spec:
  containers:
  - name: with-node-affinity
    image: soscscs/myapp:v1

[root@master demo]# kubectl  apply  -f pod3.yaml 
pod/myapp01 created

#此时，两个节点都设置了NoExecute，所以，pod无法调度
root@master demo]# kubectl  get pods -o wide
NAME      READY   STATUS    RESTARTS   AGE   IP       NODE     NOMINATED NODE   READINESS GATES
myapp01   0/1     Pending   0          23s   <none>   <none>   <none>           <none>

image-20211109164845854

2.2.2 在pod上配置容忍

[root@master demo]# vim pod3.yaml
apiVersion: v1
kind: Pod
metadata:
  name: myapp01
  labels:
    app: myapp01
spec:
  containers:
  - name: with-node-affinity
    image: soscscs/myapp:v1
  tolerations:
  - key: "check"
    operator: "Equal"
    value: "mycheck"
    effect: "NoExecute"
    tolerationSeconds: 3600


#其中的 key、vaule、effect 都要与 Node 上设置的 taint 保持一致
#operator 的值为 Exists 将会忽略 value 值，即存在即可
#tolerationSeconds 用于描述当 Pod 需要被驱逐时可以在 Pod 上继续保留运行的时间
#如果不设置tolerationSeconds，则pod将不限时

#在配置了pod的容忍后，pod的状态变为了running
[root@master demo]# kubectl  get pods  -o wide
NAME      READY   STATUS    RESTARTS   AGE     IP             NODE     NOMINATED NODE   READINESS GATES
myapp01   1/1     Running   0          6m18s   10.244.2.111   node02   <none>           <none>

image-20211109165937638

2.3 注意事项

#当不指定 key 值时，表示容忍所有的污点 key
  tolerations:
  - operator: "Exists"
  
#当不指定 effect 值时，表示容忍所有的污点作用
  tolerations:
  - key: "key"
    operator: "Exists"

#有多个 Master 存在时，防止资源浪费，可以如下设置
kubectl taint nodes Master-Name node-role.kubernetes.io/master=:PreferNoSchedule

2.4 node更新时对pod的操作

#如果某个 Node 更新升级系统组件，为了防止业务长时间中断，可以先在该 Node 设置 NoExecute 污点，把该 Node 上的 Pod 都驱逐出去
kubectl taint nodes node01 check=mycheck:NoExecute

#此时如果别的 Node 资源不够用，可临时给 Master 设置 PreferNoSchedule 污点，让 Pod 可在 Master 上临时创建
kubectl taint nodes master node-role.kubernetes.io/master=:PreferNoSchedule

#待所有 Node 的更新操作都完成后，再去除污点
kubectl taint nodes node01 check=mycheck:NoExecute-

三： Pod启动阶段

3.1 Pod过程的步骤

Pod 创建完之后，一直到持久运行起来，中间有很多步骤，也就有很多出错的可能，因此会有很多不同的状态。
一般来说，pod 这个过程包含以下几个步骤：

  1. 调度到某台 node 上。kubernetes 根据一定的优先级算法选择一台 node 节点将其作为 Pod 运行的 node
  2. 拉取镜像
  3. 挂载存储配置等
  4. 运行起来。如果有健康检查，会根据检查的结果来设置其状态。

3.2 Pod启动的5种状态

phase 的可能状态有：
●Pending：表示APIServer创建了Pod资源对象并已经存入了etcd中，但是它并未被调度完成（比如还没有调度到某台node上），或者仍然处于从仓库下载镜像的过程中。

●Running：Pod已经被调度到某节点之上，并且Pod中所有容器都已经被kubelet创建。至少有一个容器正在运行，或者正处于启动或者重启状态（也就是说Running状态下的Pod不一定能被正常访问）。

●Succeeded：有些pod不是长久运行的，比如job、cronjob，一段时间后Pod中的所有容器都被成功终止，并且不会再重启。需要反馈任务执行的结果。

●Failed：Pod中的所有容器都已终止了，并且至少有一个容器是因为失败终止。也就是说，容器以非0状态退出或者被系统终止，比如 command 写的有问题。

●Unknown：因为某些原因无法取得 Pod 的状态，通常是因为与 Pod 所在主机通信失败。

四： 故障排除步骤

  1. 查看Pod事件
  • kubectl describe TYPE NAME_PREFIX
  1. 查看Pod日志（Failed状态下）
  • kubectl logs <POD_NAME> [-c Container_NAME]
  1. 进入Pod（状态为running，但是服务没有提供）
  • kubectl exec –it <POD_NAME> bash
  1. 查看集群信息
  • kubectl get nodes
  1. 发现集群状态正常
  • kubectl cluster-info
  1. 查看kubelet日志发现
  • journalctl -xefu kubelet

五：对节点执行维护操作

kubectl get nodes

//将 Node 标记为不可调度的状态，这样就不会让新创建的 Pod 在此 Node 上运行
kubectl cordon <NODE_NAME> 		 #该node将会变为SchedulingDisabled状态

//kubectl drain 可以让 Node 节点开始释放所有 pod，并且不接收新的 pod 进程。drain 本意排水，意思是将出问题的 Node 下的 Pod 转移到其它 Node 下运行
kubectl drain <NODE_NAME> --ignore-daemonsets --delete-local-data --force

--ignore-daemonsets：无视 DaemonSet 管理下的 Pod。
--delete-local-data：如果有 mount local volume 的 pod，会强制杀掉该 pod。
--force：强制释放不是控制器管理的 Pod，例如 kube-proxy。

注：执行 drain 命令，会自动做了两件事情:
（1）设定此 node 为不可调度状态（cordon)
（2）evict（驱逐）了 Pod

//kubectl uncordon 将 Node 标记为可调度的状态
kubectl uncordon <NODE_NAME>

如果node的标记为 cordon ，则经过scheduler调度的pod，无法调度到那个节点。
而使用nodeName 进行指定，则跳过了scheduler 调度过程，因此不会受到cordon的影响
YJ Thoreau
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
kubernetes污点和容忍度测试用例
09-25
原文链接：https://blog.csdn.net/m0_37814112/article/details/120453060 说明：污点和容忍度测试用例
kubernetes 亲和、反亲和、污点、容忍
weixin_67470255的博客
08-01 646
在节点故障情况下，为了保持现存的pod驱逐的限速设置，系统将会以限速的模式逐步给node设置Taint，这就能防止在一些特定情况下（比如master暂时失联）造成的大量pod被驱逐的后果。使用kubectltaint命令可以给某个Node节点设置污点，Node被设置上污点之后就和Pod之间存在了一种相斥的关系，可以让Node拒绝Pod的调度执行，甚至将Node已经存在的Pod驱逐出去。NoSchedule表示k8s将不会将Pod调度到具有该污点的Node上。.........
k8s-污点 (Taint)和容忍 (Tolerations)
weixin_61269220的博客
10-13 1万+
如果一个节点被标记为有污点，那么意味着不允许pod调度到该节点，除非pod也被标记为可以容忍污点节点在使用kubeadm部署的k8s集群的时候应该会发现，通常情况下，应用是不会调度到master节点的。因为kubeadm部署的k8s集群默认给master节点加了Taints（污点）设置了污点的Node将根据taint的effect：NoSchedule、PreferNoSchedule、NoExecute和Pod之间产生互斥的关系，Pod将在一定程度上不会被调度到Node上。
【kubernetes】关于k8s集群的污点和容忍，以及k8s集群的故障排查思路
最新发布
liu_xueyin的博客
03-04 1468
但我们可以在 Pod 上设置容忍(Tolerations)，意思是设置了容忍的 Pod 将可以容忍污点的存在，可以被调度到存在污点的 Node 上。如果将 toleration 应用于 Pod 上，则表示这些 Pod 可以（但不一定）被调度到具有匹配 taint 的节点上。使用 kubectl taint 命令可以给某个 Node 节点设置污点，Node 被设置上污点之后就和 Pod 之间存在了一种相斥的关系，可以让 Node 拒绝 Pod 的调度执行，甚至将 Node 已经存在的 Pod 驱逐出去。
k8s打污点、取消污点、驱动pod
三朝看客
05-11 2579
这将驱逐该节点上的所有 Pod，并将它们迁移到其他节点上。在驱逐过程中，调度程序将遵循 Pod 的亲和性和反亲和性规则，以确保它们被调度到适当的节点上。请注意，驱逐节点需要适当的权限，因此请确保您具有足够的权限来管理节点。此外，在驱逐节点之前，请确保将工作负载重新调度到其他节点，以确保集群的可用性。当您运行此命令时，该节点上的该污点将被删除，Kubernetes 将能够在该节点上调度具有该污点要求的 Pod。是要取消的污点的键。请注意，打污点需要适当的权限，因此请确保您具有足够的权限来管理节点。
K8S - k8s查看污点和删除污点
热门推荐
迦南的专栏
03-31 2万+
查看污点，可以使用以下命令 kubectl describe nodes k8s-master |grep Taints Taints: gameble=true:NoSchedule [root@k8s-master ~]# kubectl describe nodes k8s-node1 | grep Taints Taints: drunk=true:NoSchedule [root@k8s-master ~]# kubectl describe n
k8s:查看node的污点和删除node 的污点
amadeus_liu2的博客
07-11 3149
k8s
云原生之K8S------K8S亲和，反亲和、污点、容忍
m0_54594153的博客
11-05 1928
一般情况下，我们部署的pod是通过的自动调度策略来选择节点的，默认情况下调度器考虑的是资源足够，并且负载尽量平衡，但是有的时候需要能够更加细粒度的去控制Pod的调度，比如我们内部的一些服务gitlab 之类的也是跑在kubernetes集群上的，我们就不希望对外的的一些服务和内部的服务跑在同一节点上了，担心内部服务对外部服务产生影响；但我们可以在Pod上设置容忍(Toleration)，意思是设置了容忍的Pod将可以容忍污点的存在，可以被调度到存在污点的Node上。
k8s-部署到master节点【污点（Taint） 与 容忍度（Toleration）】总结
liuyij3430448的博客
03-27 3377
使节点能够排斥一类特定的 Pod。作用于node是应用于 Pod 上的。允许调度器调度带有对应污点的 Pod。容忍度允许调度但并不保证调度：作为其功能的一部分， 调度器也会评估其他参数。，可以用来避免 Pod 被分配到不合适的节点上。每个节点上都可以应用一个或多个污点，这表示对于那些不能容忍这些污点的 Pod， 是不会被该节点接受的。
k8s_1基础到污点容忍.md
04-08
k8s_1基础到污点容忍.md
k8s资源清单
01-07
kind: Pod #文件自定义的资源类型和角色，控制器类型 metadata: #元数据对象 name: demo #命名空间 labels: #标签 app: demo #标签的类型室键值方式 spec: #固定对象容器的控制 containers: - name:...
k8s安装教程和部署的详细说明
01-24
[k8s v.1.10.0 二进制安装](./1.k8s v.1.10.0 二进制安装.md) [calico网络设置](./2.k8s 二进制安装集群-calico网络设置.md) calico网络策略 [kubedns配置](./3.K8S 二进制安装集群-kubedns配置.md) [kube-dashboard...
K8S单机部署资源-kubectl和minikube
02-10
安装教程：https://blog.csdn.net/Xin_101/article/details/122732950
《Kubernetes知识篇：Kubernetes之pod污点和容忍度》
东城绝神
09-24 1万+
系列文章目录 提示：这里可以添加系列文章的所有文章的目录，目录需要自己手动添加 例如：第一章 Python 机器学习入门之pandas的使用 提示：写完文章后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录系列文章目录前言一、pandas是什么？二、使用步骤1.引入库2.读入数据总结 前言 提示：这里可以添加本文要记录的大概内容： 例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。 提示：以下是本篇文章正文内容，下面案例
k8s-master增加和删除污点
阿牛同学的博客
11-09 4510
背景 使用kubeadm部署的kubernetes集群，其中master节点上默认拒绝pod调度运行在此上面。官方术语是：master默认被赋予了一个taints(污点)，那么想让master也成为工作节点，有一下两种方法 去掉taints（污点） 备注：生产环境不推荐 让pod能够容忍该节点上的污点 去掉污点（taints） 查看节点taints kubectl describe node NODE_NAME | grep Taint 删除节点taints kubectl taint node
k8s--基础--20--污点和容忍度
zhou920786312的博客
08-11 3305
一个toleration和一个taint相"匹配"是指它们有一样的key和effect如果 operator 是 Exists，此时toleration不能指定value如果 operator 是 Equal，此时它们的value应该相等如果一个toleration的effect为空，则key值与之相同的相匹配taint的effect可以是任意值。NoSchedule：不允许调度，已经调度的不受影响。...
k8s master节点去除污点和增加
厚积薄发的博客
10-28 1579
k8s master节点去除污点和增加
云原生Kubernetes：K8S资源控制之污点与容忍
cronaldo91的博客
09-19 1737
NoSchedule:表示k8s将不会将Pod调度到具有该污点的Node上PreferNoschedule:表示k8s将尽量避免将Pod调度到具有该污点的Node上NoExecute:表示k8s将不会将Pod调度到具有该污点的Node上,同时会将Node上已经存在的Pod驱逐出去。
k8s的污点和容忍度
07-27
污点和容忍度是Kubernetes中用来控制Pod调度的机制。污点（Taint）是指在节点上设置的一种属性，用于排斥一类特定的Pod。而容忍度（Toleration）是指在Pod上设置的属性，用于指定Pod是否可以被调度到具有匹配污点的节点上。 当一个节点上设置了污点时，只有那些在Pod的容忍度中定义了匹配该污点的规则的Pod才能被调度到该节点上。如果Pod没有定义容忍度或者容忍度不匹配节点上的污点，则该Pod将不会被调度到该节点上。 举个例子，假设我们在节点node1上设置了一个污点，key为k1，value为v1，effect为NoSchedule。如果一个Pod的容忍度中定义了匹配这个污点的规则，比如key为test，value为16，effect为NoSchedule，那么这个Pod就可以被调度到拥有这个污点的node1节点上。 总结来说，污点和容忍度是相互匹配的关系。通过在节点上设置污点和在Pod上设置容忍度，我们可以控制Pod的调度行为，避免将Pod调度到不合适的节点上。\[2\]\[3\] #### 引用[.reference_title] - *1* *2* *3* [k8s--基础--20--污点和容忍度](https://blog.csdn.net/zhou920786312/article/details/126241579)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

YJ Thoreau

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值