k8s1.18.1用kubeadm安装证书续期

最新推荐文章于 2024-07-04 22:08:37 发布

m0_67505824

最新推荐文章于 2024-07-04 22:08:37 发布

阅读量584

点赞数

文章标签： kubernetes docker linux

原文链接：https://www.jianshu.com/p/289c62200818

版权

查看k8s中所有证书的到期时间：
kubeadm alpha certs check-expiration

image.png

查看CA证书过期时间:
openssl x509 -in /etc/kubernetes/pki/ca.crt -noout -text |grep Not

image.png

查看集群证书过期时间:
openssl x509 -in /etc/kubernetes/pki/apiserver.crt -noout -text |grep ' Not '

image.png

如果集群证书还没有过期
获取一个创建好的 k8s集群的初始化配置文件
kubeadm config view > kubeadm.yaml

image.png

如果证书已经过期了：

vim kubeadm.yaml
sion: kubeadm.k8s.io/v1beta1
kind: ClusterConfiguration
kubernetesVersion: v1.15.0  # kubernetes 版本
apiServer:
    certSANs:
    - 192.168.10.xxx # master 所有节点IP地址，包括master和slave
    - 192.168.10.xxx # slave1
    - 192.168.10.xxx # slave2
    extraArgs:
        service-node-port-range: 80-32767
        advertise-address: 0.0.0.0
controlPlaneEndpoint: "192.168.10.xxx:6443"  # APIserver 地址,也就是master节点地址
imageRepository: registry.cn-hangzhou.aliyuncs.com/google_containers #这里使用国内阿里云的镜像仓库

或者更简单的：

apiVersion: kubeadm.k8s.io/v1beta1
kind: ClusterConfiguration
kubernetesVersion: v1.13.5 #--------这里改成你集群对应的版本
imageRepository: k8s.gcr.io #-------k8s官方的镜像仓库

重新生成默认一年时长证书
在集群已经部署好的情况下集群的证书过期，可以选择对证书进行重新生成。
单master或多master集群(etcd在集群内)处理：
1)、备份原先的证书文件和配置文件：
cp -rp /etc/kubernetes /etc/kubernetes.bak
2)、删除过期的证书文件：
（注意：1.13.0以下的版本需要删除旧的证书，不然不会重新生成，1.13.5以上的就不用操作了会自动更新的。ca.cer\ca.key\sa的这些证书不要删除ca默认就是10年没必要重新生成，同时kubeadm在重新生成apiserver这些组件的证书的时候需要使用ca证书来进行签发）

$ rm -f /etc/kubernetes/pki/apiserver*
$ rm -f /etc/kubernetes/pki/front-proxy-client.*
$ rm -rf /etc/kubernetes/pki/etcd/healthcheck-client.*
$ rm -rf /etc/kubernetes/pki/etcd/server.*
$ rm -rf /etc/kubernetes/pki/etcd/peer.*

3)、获取k8s集群初始化的配置文件yaml文件：
kubeadm config view > kubeadm.yaml
4)、生成新的证书文件
生成证书有两种方式一种是重新生成私钥和公钥，一种是使用存在的私钥重新签发。
生成相应组件的证书（此格式会使用相应组件的原来的key重新签发证书）:

$kubeadm alpha phase certs renew etcd-healthcheck-client --config kubeadm.yaml
$kubeadm alpha phase certs renew etcd-peer --config kubeadm.yaml
$kubeadm alpha phase certs renew etcd-server --config kubeadm.yaml
$kubeadm alpha phase certs renew front-proxy-client--config kubeadm.yaml
$kubeadm alpha phase certs renew apiserver-etcd-client --config kubeadm.yaml
$kubeadm alpha phase certs renew apiserver-kubelet-client --config kubeadm.yaml
$kubeadm alpha phase certs renew apiserver --config kubeadm.yaml
##或者重新签发全部组件的证书
$kubeadm alpha phase certs renew all --config kubeadm.yaml
  kubeadm alpha certs renew all --config=kubeadm.yaml    #我用的这个，上边那个我的平台运行失败。
或如下格式（这种格式需要删除原来存在的相应证书和key，此格式会重新创建相应组件的私钥和公钥）：
$kubeadm init phase certs apiserver --config kubeadm.yaml

生成新的配置文件(admin.conf、controller-manager.conf、kubelet.conf、scheduler.conf):

mv /etc/kubernetes/*.conf    ~/.
kubeadm alpha phase kubeconfig all --config kubeadm.yaml
或如下格式重新生成相关组件的配置文件：
kubeadm init phase kubeconfig all --config kubeadm.yaml     #我用的这个

将新生成的admin.conf文件覆盖掉.kube/config文件:

mv $HOME/.kube/config $HOME/.kube/config.old
cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
chown $(id -u):$(id -g) $HOME/.kube/config
chmod 644 $HOME/.kube/config

5)、重启kube-apiserver,kube-controller,kube-scheduler,etcd这4个容器：(一定要ps -a要不有可能服务容器没启动)

docker ps -a | grep -v pause | grep -E "etcd|scheduler|controller|apiserver" | awk '{print $1}' | awk '{print "docker","restart",$1}' | bash

6）、各节点重启kubelet或相关组件:
systemctl restart kubelet

注意：若集群式采用高可用ha方式安装的话有所区别，etd的相关证书需要另外签发操作，要是之前搭建集群的时候已经使用了长时间的则仅仅需要处理k8s其它组件的证书即可。

再查看证书过期时间已经更新了。

参考文档
kubernetes证书过期处理 - 简书
 https://www.cnblogs.com/skymyyang/p/11093686.html
https://blog.51cto.com/u_12988868/2587697
k8s 1.14版本证书过期问题解决 - 简书

客户端kubelet证书轮换自动续期：

kubectl证书轮换是在当前证书即将过期时，将自动生成新的密钥，并从k8s api申请新的证书。

kubelet 进程接收 --rotate-certificates 参数，该参数决定 kubelet 在当前使用的证书即将到期时，是否会自动申请新的证书。由于证书轮换是 beta 特性，必须通过参数 --feature-gates=RotateKubeletClientCertificate=true 进行启用。

kube-controller-manager 进程接收 --experimental-cluster-signing-duration 参数，该参数控制证书签发的有效期限。
当 kubelet 启动时，如被配置为自举（使用--bootstrap-kubeconfig 参数），kubelet 会使用其初始证书连接到 Kubernetes API ，并发送证书签名的请求。可以通过以下方式查看证书签名请求的状态：

$kubectl get csr

最初，来自节点上 kubelet 的证书签名请求处于 Pending 状态。如果证书签名请求满足特定条件，控制管理器会自动批准，此时请求会处于 Approved 状态。接下来，控制器管理器会签署证书，证书的有效期限由 --experimental-cluster-signing-duration 参数指定，签署的证书会被附加到证书签名请求中。

Kubelet 会从 Kubernetes API 取回签署的证书，并将其写入磁盘，存储位置通过 --cert-dir 参数指定。然后 kubelet 会使用新的证书连接到 Kubernetes API。

当签署的证书即将到期时，kubelet 会使用 Kubernetes API，发起新的证书签名请求。同样地，控制管理器会自动批准证书请求，并将签署的证书附加到证书签名请求中。 Kubelet 会从 Kubernetes API 取回签署的证书，并将其写入磁盘。然后它会更新与 Kubernetes API 的连接，使用新的证书重新连接到 Kubernetes API。

1)、开启证书轮换：

修改kubelet启动配置文件增加如下参数
在/usr/lib/systemd/system/kubelet.service.d/10-kubeadm.conf增加如下参数:

Environment="KUBELET_EXTRA_ARGS=--feature-gates=RotateKubeletServerCertificate=true --feature-gates=RotateKubeletClientCertificate=true"

修改kube-controller-manager.yaml配置文件
在/etc/kubernetes/manifests/kube-controller-manager.yaml 添加如下参数:

  - command:
    - kube-controller-manager
    - --experimental-cluster-signing-duration=87600h0m0s     #10年
    - --feature-gates=RotateKubeletServerCertificate=true
    - ....

创建 rbac 对象
创建rbac对象，允许节点轮换kubelet server证书：
vim kubelet-ca-update.yaml

apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRole
metadata:
  annotations:
    rbac.authorization.kubernetes.io/autoupdate: "true"
  labels:
    kubernetes.io/bootstrapping: rbac-defaults
  name: system:certificates.k8s.io:certificatesigningrequests:selfnodeserver
rules:
- apiGroups:
  - certificates.k8s.io
  resources:
  - certificatesigningrequests/selfnodeserver
  verbs:
  - create
---
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRoleBinding
metadata:
  name: kubeadm:node-autoapprove-certificate-server
roleRef:
  apiGroup: rbac.authorization.k8s.io
  kind: ClusterRole
  name: system:certificates.k8s.io:certificatesigningrequests:selfnodeserver
subjects:
- apiGroup: rbac.authorization.k8s.io
  kind: Group
  name: system:nodes

kubectl create -f kubelet-ca-update.yaml

参考文章kubernetes证书过期处理 - 简书