分布式系统通常需要租约(leases),租约提供了锁定共享资源和在一组成员之间协调活动的机制。
在Kubernetes中,租约的概念由协调(k8s.io) API组中的Lease对象表示
-
在Kubernetes中,Lease对象用于协调集群中的节点和组件之间的通信和协作。例如,每个节点都会创建一个Lease对象,以向其他节点宣告自己的存在,并定期发送心跳信号以表明其健康状态。此外,Lease对象还可用于组件级别的领导者选举,例如选举控制器中的主节点。
-
通过使用Lease对象,Kubernetes可以确保系统中的节点和组件之间的通信和协作得以平稳进行,增强了集群的可靠性和稳定性。
节点心跳
Kubernetes使用Lease API将kubelet节点心跳通信发送给Kubernetes API服务器。
对于每个节点,在kube-node-lease命名空间中有一个与之匹配名称的Lease对象。在内部,每个kubelet心跳都是对这个Lease对象的更新请求,更新Lease的spec.renewTime字段。
Kubernetes控制平面使用这个字段的时间戳来确定该节点的可用性。
有关更多详细信息,请参阅节点租赁对象
领导选举
在Kubernetes中,还使用Leases来确保每个组件在任何给定时间只运行一个实例。这在高可用配置的控制平面组件,如kube-controller-manager和kube-scheduler中使用,其中组件的只有一个实例应该处于活动运行状态,而其他实例处于待命状态。
在高可用配置中,一般会有多个控制平面组件的副本在运行,但只有一个实例应该是领导者(leader),负责主要的控制平面任务,如调度和控制器管理。其他副本则处于备用状态,以便在领导者实例失败时能够接管其职责。
通过使用Lease对象,Kubernetes可以进行组件级别的领导者选举,确保在任何时刻只有一个实例作为领导者运行。这种机制可以提高控制平面的可用性和容错性,确保在出现故障或中断时仍然能够持续地提供服务。
API服务器身份
在Kubernetes v1.26及更高版本中,每个kube-apiserver使用Lease API将其身份发布给系统的其他部分。虽然单独来说并不特别有用,但这为客户端提供了一种机制,可以了解有多少个kube-apiserver实例正在运行Kubernetes控制平面。kube-apiserver租约的存在为未来可能需要在每个kube-apiserver之间进行协调的功能提供了支持。
您可以通过检查kube-system命名空间中名称为kube-apiserver-<sha256哈希值>的租约对象来查看每个kube-apiserver拥有的租约。或者,您可以使用标签选择器apiserver.kubernetes.io/identity=kube-apiserver
:
kubectl -n kube-system get lease -l apiserver.kubernetes.io/identity=kube-apiserver
租约名称中使用的SHA256哈希基于API服务器看到的操作系统主机名。每个kube-apiserver应该配置为在集群内唯一的主机名。使用相同主机名的新kube-apiserver实例将使用新的holder身份接管现有的租约,而不是实例化新的Lease对象。
通过检查kubernetes.io/hostname标签的值来查看kube-apisever使用的主机名:
kubectl -n kube-system get lease apiserver-07a5ea9b9b072c4a5f3d1c3702 -o yaml
apiVersion: coordination.k8s.io/v1
kind: Lease
metadata:
creationTimestamp: "2023-07-02T13:16:48Z"
labels:
apiserver.kubernetes.io/identity: kube-apiserver
kubernetes.io/hostname: master-1
name: apiserver-07a5ea9b9b072c4a5f3d1c3702
namespace: kube-system
resourceVersion: "334899"
uid: 90870ab5-1ba9-4523-b215-e4d4e662acb1
spec:
holderIdentity: apiserver-07a5ea9b9b072c4a5f3d1c3702_0c8914f7-0f35-440e-8676-7844977d3a05
leaseDurationSeconds: 3600
renewTime: "2023-07-04T21:58:48.065888Z"
已经不存在的kube-apiserver的租约将在1小时后被新的kube-apiserver进行垃圾回收。
您可以通过禁用APIServerIdentity功能门来禁用API服务器身份租约。