k8s的集群调度---下

前情回顾

预算策略：过滤出合适的节点

优选策略：选择部署的节点

nodeName：硬匹配，不走调度策略。node01.

nodeSelector：根据节点的标签选择，会走调度算法。

只要是走调度算法，在不满足预算策略的情况下，所有pod都是pending。

node节点的亲和性：硬策略和软策略

硬策略：必须一定。匹配原则：根据节点的标签

软策略：尽量满足你的要求。

pod的亲和性和反亲和性

调度策略	匹配标签	操作符	拓展域	调度目标
node亲和性	主机标签	In,NotIn,Exists,DoesExists,Gt,Lt	不支持	指定主机
pod亲和性	pod的标签	In（在）,NotIn（不在）,Exists（存在）,DoesExists（不存在）	支持	pod和指定标签的pod部署在同一个拓扑域
pod反亲和性	pod的标签	In,NotIn,Exists,DoesExists	支持	pod和指定标签的pod部署在同一个拓扑域

拓扑域：k8s集群节点当中的一个组织结构，可以根据节点的物理关系或者逻辑关系进行划分。

可以用来表示节点之间的空间关系，网络关系或者其他类型的关系。

pod内的拓扑域也就是  --->  标签

pod亲和性演示操作

apiVersion: apps/v1
kind: Deployment
metadata:
  labels:
    app: nginx1
  name: nginx1
spec:
  replicas: 1
  selector:
    matchLabels:
      app: nginx1
  template:
    metadata:
      labels:
        app: nginx1
    spec:
      containers:
      - image: nginx:1.22
        name: nginx1
      affinity:
        podAffinity:
          preferredDuringSchedulingIgnoredDuringExecution:
          - labelSelector:
              matchExpressions:
              - key: app
                operator: In
                values:
                - nginx1
            topologyKey: test1
#toplogyKey指定拓扑域的关键字段，表示正在使用test1作为拓扑域的关键字。test1一般都是节点标签，表示希望把pod调度到包含有app标签的Pod，值为nginx1的在test1的拓扑域上的节点。

部署pod时候会遇到pending的情况，是因为指定条件没有一个可以满足！！！！

pod亲和性的软策略展示

apiVersion: apps/v1
kind: Deployment
metadata:
  labels:
    app: nginx1
  name: nginx1
spec:
  replicas: 3
  selector:
    matchLabels:
      app: nginx1
  template:
    metadata:
      labels:
        app: nginx1
    spec:
      containers:
      - image: nginx:1.22
        name: nginx1
      affinity:
        podAffinity:
          preferredDuringSchedulingIgnoredDuringExecution:
          - weight: 1
            podAffinityTerm:
              labelSelector:
                matchExpressions:
                - key: app
                  operator: DoesNotExist
              topologyKey: test3

pod的反亲和性

apiVersion: apps/v1
kind: Deployment
metadata:
  labels:
    app: nginx1
  name: nginx1
spec:
  replicas: 3
  selector:
    matchLabels:
      app: nginx1
  template:
    metadata:
      labels:
        app: nginx1
    spec:
      containers:
      - image: nginx:1.22
        name: nginx1
      affinity:
        podAntiAffinity:
          preferredDuringSchedulingIgnoredDuringExecution:
          - weight: 1
            podAffinityTerm:
              labelSelector:
                matchExpressions:
                - key: app
                  operator: In
                  values:
                  - nginx1
              topologyKey: test3

总结：反亲和性顾名思义和亲和性相反，相当于NotIn

注意点：

1.pod的亲和性策略，在配置时，必须要加上拓扑域的关键字

2.pod亲和性的策略也分为硬策略和软策略

3.pod亲和性的notin可以替代反亲和性

4.pod亲和性主要是为了把相关联的pod部署在同一个节点。

k8s中污点和容忍可以配合node的亲和性一块使用

污点与容忍的概念

节点亲和性，是Pod的一种属性（偏好或硬性要求），它使Pod被吸引到一类特定的节点。Taint 则相反，它使节点能够排斥一类特定的 Pod。

污点（Taint） 和 容忍（Toleration） 相互配合，可以用来避免 Pod 被分配到不合适的节点上。每个节点上都可以应用一个或多个 taint ，这表示对于那些不能容忍这些 taint 的 Pod，是不会被该节点接受的。如果将 toleration 应用于 Pod 上，则表示这些 Pod 可以（但不一定）被调度到具有匹配 taint 的节点上。

当前 taint effect 支持如下三个选项：

●NoSchedule：表示 k8s 将不会将 Pod 调度到具有该污点的 Node 上

●PreferNoSchedule：表示 k8s 将尽量避免将 Pod 调度到具有该污点的 Node 上

●NoExecute：表示 k8s 将不会将 Pod 调度到具有该污点的 Node 上，同时会将 Node 上已经存在的 Pod 驱逐出去
 

注意点：节点服务器肯定是需要维护的，服务器关机，此时节点上的pod将会失效。在工作中我们主要部署pod的方式控制器部署。尤其是deployment用的最多。一旦节点使用的是驱逐。控制器创建的pod会在其他节点重新部署。所以驱逐的应用场景：资源迁移。

1.所有的pod都会被驱逐，和命名空间无关（包括flannel等），kube-proxy是节点组件，所以他还存在。

2.不论你的创建方式是什么，都会被驱逐

污点的基本操作

格式：kubectl describe nodes <节点名称> | grep Taints 
或者是kubectl describe nodes <节点名称> | grep -i taints
eg：查看master01的污点
kubectl describe nodes master01 |grep -i taints

如何设置污点

kubectl taint node node01 key=1:NoSchedule

kubectl taint node node名称 名称

污点的容忍机制

容忍：即使集群上设置了污点，有了容忍机制，依然可以在设置为污点的节点上部署pod。

apiVersion: apps/v1
kind: Deployment
metadata:
  labels:
    app: nginx2
  name: nginx2
spec:
  replicas: 1
  selector:
    matchLabels:
      app: nginx2
  template:
    metadata:
      labels:
        app: nginx2
    spec:
      containers:
      - image: nginx:1.22
        name: nginx2
      tolerations:
      - key: key
        operator: Equal
        value: "1"
        effect: NoSchedule
容忍策略：容忍节点上的标签key，对应的标签值是1，effect就是对应的污点的类型

其他都是NoSchedule，所以无法匹配，就是pending。

污点---NoExcute

apiVersion: apps/v1
kind: Deployment
metadata:
  labels:
    app: nginx2
  name: nginx2
spec:
  replicas: 1
  selector:
    matchLabels:
      app: nginx2
  template:
    metadata:
      labels:
        app: nginx2
    spec:
      containers:
      - image: nginx:1.22
        name: nginx2
      tolerations:
      - key: key
        operator: Equal
        value: "2"
        effect: NoExecute
        tolerationSeconds: 10

到时间就会销毁，反复循环

特殊情况：NotExecute依然可以部署pod，但是有生命周期，时间一到，pod会被销毁，生命周期结束之后会驱逐一部分pod到其他节点

  tolerations:
      - key: key
        operator: Exists
        effect: NoSchedule


指定key的值（节点的标签值），但是不指定污点的类型，所有节点上只要包含了指定的标签名，可以容忍所有的污点

      tolerations:
      - operator: Exists
        effect: NoSchedule
没有key，不匹配节点的标签，容忍所有污点，但是类型是指定的类型（只要是effect指定的，我都能容忍）

总结：

多个master节点：

kubelet taint node master节点名称 node-role.kubernetes.io/master=PreferNoSchedule

尽量不往master节点上部署pod，但是不是一定的，防止资源浪费。自定义一个标签。

业务维护： node02需要维护两个小时，但是这个业务上还有pod在运行，此时就需要将这个节点的污点设置成NoExecute。

我们部署pod一般都使用deployment部署，会在其他的节点重新部署，并不是被杀死

自主式的pod会被杀死。

一旦节点恢复，一定要把污点驱逐

cordon和drain

cordon：可以直接把节点标记为不可用的状态。

kubectl get node
kubectl cordon master01
kkubectl get node
kubectl uncordon master01

drain

排水，把该节点下的节点全部转移到其他的node节点上运行。

1.一旦执行drain，被执行的节点会变成不可调度状态。

2.会驱逐该节点上的所有pod。

kubectl drain node02 --ignore-daemonsets --delete-local-data --force


drain：排水，标记node节点为不可调度，然后驱逐pod
--ignore-daemonsets：无视daemonsets部署的pod，daemonsets部署的pod还在节点
--delete-local-data：有本地挂载卷的pod会被强制杀死
--force：强制释放不是控制器管理的pod。
还是如何管理和部署pod