NodeAffinity节点亲和性,是Pod上定义的一种属性,使Pod能够按我们的要求调度到某个Node上,而Taints则恰恰相反,它可以让Node拒绝运行Pod,甚至驱逐Pod。
Taints(污点)是Node的一个属性,设置了Taints(污点)后,因为有了污点,所以Kubernetes是不会将Pod调度到这个Node上的,
于是Kubernetes就给Pod设置了个属性Tolerations(容忍),只要Pod能够容忍Node上的污点,那么Kubernetes就会忽略Node上的污点,就能够(不是必须)把Pod调度过去。
因此 Taints(污点)通常与Tolerations(容忍)配合使用。
1、设置污点:
kubectl taint node [node] key=value[effect]
其中[effect] 可取值: [ NoSchedule | PreferNoSchedule | NoExecute ]
NoSchedule :一定不能被调度。
PreferNoSchedule:尽量不要调度。
NoExecute:不仅不会调度,还会驱逐Node上已有的Pod。
示例:kubectl taint node 10.3.1.16 test=16:NoSchedule
2、去除污点:
比如设置污点:
kubectl taint node 10.3.1.16 test=16:NoSchedule
kubectl taint node 10.3.1.16 test=16:NoExecute
去除指定key及其effect:
kubectl taint nodes node_name key:[effect]- #(这里的key不用指定value)
去除指定key所有的effect:
kubectl taint nodes node_name key-
示例:
kubectl taint node 10.3.1.16 test:NoSchedule-
kubectl taint node 10.3.1.16 test:NoExecute-
kubectl taint node 10.3.1.16 test-
3、Pod 容忍污点示例:
首先给node设置个污点以观察调度效果:
kubectl taint node 10.3.1.16 test=16:NoSchedule
当pod没有设置容忍时被调度到10.3.1.17:
apiVersion: v1
kind: Pod
metadata:
name: pod-taints
labels:
os: ubuntu
spec:
containers:
- name: pod-tains
image: 10.3.1.15:5000/ubuntu:16.04
root@ubuntu:#kubectl create -f pod-taints.yaml
pod "pod-taints" created
###
root@ubuntu# kubectl get pod -o wide
NAME READY STATUS RESTARTS AGE IP NODE
pod-taints 1/1 Running 0 7s 192.168.77.216 10.3.1.17
给Pod设置容忍:
apiVersion: v1
kind: Pod
metadata:
name: pod-taints
labels:
os: ubuntu
spec:
tolerations: #设置容忍性
- key: "test"
operator: "Equal" #如果操作符为Exists,那么value属性可省略,如果不指定operator,则默认为Equal
value: "16"
effect: "NoSchedule"
#意思是这个Pod要容忍的有污点的Node的key是test Equal 16,效果是NoSchedule,
#tolerations属性下各值必须使用引号,容忍的值都是设置Node的taints时给的值。
containers:
- name: pod-tains
image: 10.3.1.15:5000/ubuntu:16.04
root@ubuntu15:/data/yaml# kubectl get pod -o wide
NAME READY STATUS RESTARTS AGE IP NODE
pod-taints 1/1 Running 0 3m 192.168.150.216 10.3.1.16
#容忍后就立即调度到另外一个Node上了。需要在两个Node的Pod数量不平衡时才能看到效果。
对于tolerations属性的写法:
其中的key、value、effect 与Node的Taint设置需保持一致, 还有以下几点说明:
1、如果operator的值是Exists,则value属性可省略。
2、如果operator的值是Equal,则表示其key与value之间的关系是equal(等于)。
3、如果不指定operator属性,则默认值为Equal。
另外,还有两个特殊值:
1、空的key 如果再配合Exists 就能匹配所有的key与value ,也是是能容忍所有node的所有Taints。
2、空的effect 匹配所有的effect。
一个node上可以有多个污点:
比如 test=16:NoScheduler test2=16:NoSchedule
而在Pod容忍时只容忍了其中一个:
tolerations:
- key: "test"
operator: "Equal"
value: "16"
effect: "NoSchedule"
这样的结果是此Pod无法被调度到key为test的node( 10.3.1.16)上去,因为此Node上设置了两个污点,
而这个Pod只匹配到了一个污点,也就是只容忍了一个污点,所以可以再加一个容忍:
tolerations:
- key: "test"
operator: "Exists"
effect: "NoSchedule"
- key: "test2"
operator: "Equal"
value: "16"
effect: "NoSchedule"
如果在设置node的Taints(污点)之前,就已经运行了一些Pod,那么这些Pod是否还能继续在此Node上运行? 这就要看设置Taints污点时的effect(效果)了。
如果effect的值是NoSchedule或PreferNoSchedule,那么已运行的Pod仍然可以运行,只是新Pod(如果没有容忍)不会再往上调度。
而如果effect的值是NoExecute,那么此Node上正在运行的Pod,只要没有容忍的,立刻被驱逐。
虽然是立刻被驱逐,但是K8S为了彰显人性化,又给具有NoExecute效果的污点, 在容忍属性中有一个可选的
tolerationSeconds字段,用来设置这些Pod还可以在这个Node之上运行多久,给它们一点宽限的时间,到时间才驱逐。
如果是以Pod来启动的,那么Pod被驱逐后, 将不会再被运行,就等于把它删除了。
如果是deployment/rc,那么删除的pod会再其它节点运行。
如果是DaemonSet在此Node上启动的Pod,那么也不会再被运行,直到Node上的NoExecute污被去除或者Pod容忍。
#设置Pod的宽限时间
spec:
tolerations: #设置容忍性
- key: "test"
operator: "Equal" #如果操作符为Exists,那么value属性可省略
value: "16"
effect: "NoExecute"
tolerationSeconds: 180
#如果运行此Pod的Node,被设置了具有NoExecute效果的Taint(污点),这个Pod将在存活180s后才被驱逐。
#如果没有设置tolerationSeconds字段,将永久运行。
通过对Taints和Tolerations的了解,可以知道,通过它们可以让某些特定应用,独占一个Node:
给特定的Node设置一个Taint,只让某些特定的应用来容忍这些污点,容忍后就有可能会被调度到此特定Node,
但是也不一定会调度给此特定Node,设置容忍并不阻止调度器调度给其它Node,那么如何让特定应用的Node
只能被调度到此特定的Node呢,这就要结合NodeAffinity节点亲和性,给Node打个标签,然后在Pod属性里
设置NodeAffinity到Node。如此就能达到要求了。