k8s1.19.5单master平滑改造多master

已于 2022-06-12 10:12:59 修改
阅读量810 收藏 2
点赞数
文章标签： linux kubernetes 负载均衡
于 2022-06-11 22:18:36 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sqy02251003/article/details/125239594
版权

集群外安装nginx 四层负载均衡

stream {
  upstream apiserver {
    server 10.10.10.13:6443 weight=1;
    server 10.10.10.15:6443 weight=1;
    server 10.10.10.16:6443 weight=1;

  }

  server {
    listen 16443;
    proxy_pass apiserver;
  }
}

keepalived

keepalived.conf

global_defs {
    router_id NG_BACKUP // 主节点为NG_MASTER，每个节点互斥唯一
    script_user root
}
vrrp_script check_nginx {
  script "/etc/nginx/check_nginx.sh"  #指定检查nginx存活的脚本路径， 检查nginx是不对的在这里， 需要检查k8s是否可访问
  interval 2
}
vrrp_instance VI_1 {
    state BACKUP  // 主节点为Master
    interface ens33  // 网卡名称
    virtual_router_id 51
    priority 10       //master 100 其它节点低于master
    mcast_src_ip 10.10.10.14 // 本机ip
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    virtual_ipaddress {
        10.10.10.222  // 虚拟ip
    }
    track_script {
      check_nginx
    }
}

/etc/nginx/check_nginx.sh(机器健康检查)

#!/bin/bash
#egrep -cv "grep|$$" 用于过滤掉包含grep 或者 $$ 表示的当前Shell进程ID
count=$(ps -ef | grep nginx | egrep -cv "grep|$$")

if [ "$count" -eq 0 ];then
  systemctl stop keepalived
fi

重新生成证书

将 kube-system 中的 kubeadm-config 配置导出，修改

kubectl -n kube-system get configmap kubeadm-config -o jsonpath='{.data.ClusterConfiguration}' > kubeadm.yaml

旧的配置

apiServer:
  extraArgs:
    authorization-mode: Node,RBAC
  timeoutForControlPlane: 4m0s
apiVersion: kubeadm.k8s.io/v1beta2
certificatesDir: /etc/kubernetes/pki
clusterName: kubernetes
controlPlaneEndpoint: apiserver.demo:6443
controllerManager: {}
dns:
  type: CoreDNS
etcd:
  local:
    dataDir: /var/lib/etcd
imageRepository: registry.aliyuncs.com/k8sxio
kind: ClusterConfiguration
kubernetesVersion: v1.19.5
networking:
  dnsDomain: cluster.local
  podSubnet: 10.100.0.1/16
  serviceSubnet: 10.96.0.0/16
scheduler: {}

将几个master的信息补充到certSANs节点

apiServer:
  certSANs:
  - apiserver.demo
  - node3
  - node5
  - node6
  - 10.10.10.13
  - 10.10.10.15
  - 10.10.10.16
  extraArgs:
    authorization-mode: Node,RBAC
  timeoutForControlPlane: 4m0s
apiVersion: kubeadm.k8s.io/v1beta2
certificatesDir: /etc/kubernetes/pki
clusterName: kubernetes
controlPlaneEndpoint: apiserver.demo:6443
controllerManager: {}
dns:
  type: CoreDNS
etcd:
  local:
    dataDir: /var/lib/etcd
imageRepository: registry.aliyuncs.com/k8sxio
kind: ClusterConfiguration
kubernetesVersion: v1.19.5
networking:
  dnsDomain: cluster.local
  podSubnet: 10.100.0.1/16
  serviceSubnet: 10.96.0.0/16
scheduler: {}

生成apiserver证书

移走旧的
mv /etc/kubernetes/pki/apiserver.{crt,key}  /备份目录
生成新的
kubeadm init phase certs apiserver --config kubeadm.yaml
kill 旧的apiserver docker
docker ps | grep kube-apiserver | grep -v pause
docker kill ${dockerId}
验证证书
openssl x509 -in /etc/kubernetes/pki/apiserver.crt -text
  • 新的节点ip已经添加进去了
Certificate:
    Data:
        Version: 3 (0x2)
        Serial Number: 8950849701884516000 (0x7c37ce6156bcd6a0)
    Signature Algorithm: sha256WithRSAEncryption
        Issuer: CN=kubernetes
        Validity
            Not Before: Jun 11 16:58:25 2022 GMT
            Not After : Jun 11 17:30:54 2023 GMT
        Subject: CN=kube-apiserver
        Subject Public Key Info:
            Public Key Algorithm: rsaEncryption
                Public-Key: (2048 bit)
                Modulus:
                    00:ac:56:5b:d8:5d:46:68:c9:97:f2:54:03:07:b1:
                    ee:43:f2:7e:a4:46:e3:51:87:75:dd:02:1c:6e:1f:
                    79:45:7d:d7:7f:10:72:8b:af:7f:24:6d:f3:1e:b4:
                    f4:d5:88:f4:e6:f0:e3:2a:27:18:8d:a4:73:10:58:
                    ee:23:c9:60:3c:30:96:56:e5:ca:6b:73:47:34:62:
                    78:88:b6:08:73:c0:9f:06:0d:ee:22:9f:cd:0f:68:
                    35:5b:bf:90:98:f7:80:0d:a7:a6:e1:83:da:44:68:
                    9f:54:be:13:86:04:75:9d:6d:c0:d3:25:eb:1e:cd:
                    e3:d1:7b:fc:2e:6e:0a:08:88:33:12:fc:18:e8:d6:
                    2b:2f:43:ab:ea:88:b2:e9:48:67:21:7d:50:45:f0:
                    e8:9c:17:a3:2a:fc:01:a8:c5:c2:d3:e5:27:71:c7:
                    8a:9c:ef:0d:8b:0a:1a:de:93:8e:34:4f:c6:b9:f2:
                    0d:de:38:97:e2:47:be:48:41:6b:d0:cf:9f:b7:67:
                    b9:5a:8f:50:97:0b:df:18:0c:91:a2:03:5f:a9:7b:
                    5a:3f:3b:32:26:05:2c:a5:55:50:d1:c2:e3:3c:2b:
                    bb:a2:f7:14:30:fd:d2:aa:be:23:94:b7:fc:2f:f0:
                    48:3c:30:57:71:99:e6:d5:be:91:5b:ed:cd:e5:bf:
                    fc:eb
                Exponent: 65537 (0x10001)
        X509v3 extensions:
            X509v3 Key Usage: critical
                Digital Signature, Key Encipherment
            X509v3 Extended Key Usage:
                TLS Web Server Authentication
            X509v3 Authority Key Identifier:
                keyid:DD:90:BD:9A:CF:9A:20:E3:DF:D5:D7:51:C8:87:FC:60:EC:50:63:18

            X509v3 Subject Alternative Name:
                DNS:apiserver.demo, DNS:kubernetes, DNS:kubernetes.default, DNS:kubernetes.default.svc, DNS:kubernetes.default.svc.cluster.local, DNS:node3, DNS:node5, DNS:node6, IP Address:10.96.0.1, IP Address:10.10.10.13, IP Address:10.10.10.15, IP Address:10.10.10.16
    Signature Algorithm: sha256WithRSAEncryption
         38:87:60:64:02:b3:f3:88:31:b6:8e:49:73:75:32:83:5c:fc:
         e3:65:9b:19:b1:e2:57:8d:ab:eb:b6:b6:98:a0:f7:eb:ed:01:
         d0:f6:69:a8:2e:47:33:5e:44:c1:a3:33:da:e5:f4:81:b7:eb:
         df:d9:56:64:b9:df:d9:ef:91:ff:da:22:5e:cb:af:2b:fb:2d:
         22:1e:dc:ac:eb:b7:83:57:30:b9:d6:79:98:0e:57:87:76:03:
         b6:b8:e7:46:eb:60:c6:f0:10:76:a8:ce:29:51:80:7b:40:03:
         34:8d:0f:d4:57:ae:9f:83:0f:0f:b4:b9:9f:5e:97:2a:2f:19:
         7f:0c:c4:2e:3e:88:6e:71:1d:7b:f7:fb:10:6a:8e:e9:b3:d8:
         d6:54:01:10:e7:fe:49:c1:bb:b5:8f:e0:ac:3c:43:0d:76:f2:
         af:34:3d:40:22:2b:a0:86:f0:cd:60:1c:a1:69:17:99:41:44:
         10:1e:39:fc:74:3d:78:79:5d:be:c9:f0:5d:20:4e:45:64:f9:
         a2:69:9d:3c:c6:d6:3f:73:f9:5a:33:98:6f:94:02:50:d4:86:
         06:6d:4b:73:c1:bc:b3:df:db:ad:c5:0c:da:cb:c0:17:f0:1b:
         94:d6:99:24:24:5e:86:a7:d8:90:6c:dd:84:13:cc:44:3c:db:
         c1:11:9b:e3
-----BEGIN CERTIFICATE-----
MIIDozCCAougAwIBAgIIfDfOYVa81qAwDQYJKoZIhvcNAQELBQAwFTETMBEGA1UE
AxMKa3ViZXJuZXRlczAeFw0yMjA2MTExNjU4MjVaFw0yMzA2MTExNzMwNTRaMBkx
FzAVBgNVBAMTDmt1YmUtYXBpc2VydmVyMIIBIjANBgkqhkiG9w0BAQEFAAOCAQ8A
MIIBCgKCAQEArFZb2F1GaMmX8lQDB7HuQ/J+pEbjUYd13QIcbh95RX3XfxByi69/
JG3zHrT01Yj05vDjKicYjaRzEFjuI8lgPDCWVuXKa3NHNGJ4iLYIc8CfBg3uIp/N
D2g1W7+QmPeADaem4YPaRGifVL4ThgR1nW3A0yXrHs3j0Xv8Lm4KCIgzEvwY6NYr
L0Or6oiy6UhnIX1QRfDonBejKvwBqMXC0+UncceKnO8Niwoa3pOONE/GufIN3jiX
4ke+SEFr0M+ft2e5Wo9QlwvfGAyRogNfqXtaPzsyJgUspVVQ0cLjPCu7ovcUMP3S
qr4jlLf8L/BIPDBXcZnm1b6RW+3N5b/86wIDAQABo4HyMIHvMA4GA1UdDwEB/wQE
AwIFoDATBgNVHSUEDDAKBggrBgEFBQcDATAfBgNVHSMEGDAWgBTdkL2az5og49/V
11HIh/xg7FBjGDCBpgYDVR0RBIGeMIGbgg5hcGlzZXJ2ZXIuZGVtb4IKa3ViZXJu
ZXRlc4ISa3ViZXJuZXRlcy5kZWZhdWx0ghZrdWJlcm5ldGVzLmRlZmF1bHQuc3Zj
giRrdWJlcm5ldGVzLmRlZmF1bHQuc3ZjLmNsdXN0ZXIubG9jYWyCBW5vZGUzggVu
b2RlNYIFbm9kZTaHBApgAAGHBAoKCg2HBAoKCg+HBAoKChAwDQYJKoZIhvcNAQEL
BQADggEBADiHYGQCs/OIMbaOSXN1MoNc/ONlmxmx4leNq+u2tpig9+vtAdD2aagu
RzNeRMGjM9rl9IG369/ZVmS539nvkf/aIl7Lryv7LSIe3Kzrt4NXMLnWeZgOV4d2
A7a450brYMbwEHaozilRgHtAAzSND9RXrp+DDw+0uZ9elyovGX8MxC4+iG5xHXv3
+xBqjumz2NZUARDn/knBu7WP4Kw8Qw128q80PUAiK6CG8M1gHKFpF5lBRBAeOfx0
PXh5Xb7J8F0gTkVk+aJpnTzG1j9z+VozmG+UAlDUhgZtS3PBvLPf263FDNrLwBfw
G5TWmSQkXoan2JBs3YQTzEQ828ERm+M=
-----END CERTIFICATE-----
新增的内容回填 kubeadm-config
kubectl edit cm kubeadm-config -n kube-system
将这部分再写一遍
certSANs:
  - apiserver.demo
  - node3
  - node5
  - node6
  - 10.10.10.13
  - 10.10.10.15
  - 10.10.10.16
验证回填的内容是否成功
kubectl -n kube-system get configmap kubeadm-config -o yaml
/ect/hosts
将apiserver.xxx 映射到VIP(虚拟ip)
vim /etc/kubernetes/kubelet.conf
server: https://apiserver.xxx:16443
重启 kubelet
systemctl restart kubelet
vim /etc/kubernetes/controller-manager.conf
server: https://apiserver.xxx:16443
重启kube-controller-manager(kill掉自动重启)
docker ps | grep kube-controller-manager | \
grep -v pause

docker kill xxxxxx
vim /etc/kubernetes/scheduler.conf
server: https://apiserver.xxx:16443
重启scheduler
docker ps | grep kube-scheduler | grep -v pause

docker kill xxxx
更新 kube-proxy
kubectl -n kube-system edit cm kube-proxy

server: https://apiserver.xxx:16443
~/.kube/config
server: https://apiserver.demo:16443
kubeadm-config 16443
kubectl edit cm kubeadm-config -n kube-system

controlPlaneEndpoint属性apiserver.demo:16443
更新cluster-info
kubectl -n kube-public edit cm cluster-info

server: https://apiserver.demo:16443
验证 cluster-info
kubectl cluster-info





Kubernetes master is running at https://apiserver.demo:16443
KubeDNS is running at https://apiserver.demo:16443/api/v1/namespaces/kube-system/services/kube-dns:dns/proxy

To further debug and diagnose cluster problems, use 'kubectl cluster-info dump'.
上传证书到集群
kubeadm init phase upload-certs --upload-certs




I0612 02:21:45.938155  103642 version.go:252] remote version is much newer: v1.24.1; falling back to: stable-1.19
W0612 02:21:46.570837  103642 configset.go:348] WARNING: kubeadm cannot validate component configs for API groups [kubelet.config.k8s.io kubeproxy.config.k8s.io]
[upload-certs] Storing the certificates in Secret "kubeadm-certs" in the "kube-system" Namespace
[upload-certs] Using certificate key:
1b594f631654ac0f221dd0cf593605a30b8f41eee480562d2a3103ab667cfcc7

join(certificate-key 的值就是 upload-certs的返回)

kubeadm join apiserver.demo:16443 --token 7d07w5.ezk3exm8polcedqu     --discovery-token-ca-cert-hash sha256:0cfd862db9cf90787bb8f0aea7acb1a749f6e76cb370493f50f170882bccac3c --control-plane --certificate-key 1b594f631654ac0f221dd0cf593605a30b8f41eee480562d2a3103ab667cfcc

最后

修改所有节点的/etc/hosts VIP apiserver.xxxx 映射

注意的问题

vip高优先级的master宕机重启之后 无法自动加入集群

keepalived需要注意一下 (不能只验证ng,就认为它可用， 会陷入死循环)

ha的 master 挂了， 再次启动 抢夺了vip的控制权， 但是这时宕机的这台机器还没重新加入集群， 而重新加入集群又需要使用vip, vip在挂了机器身上就有问题,

所以验证脚本，要从验证nginx 调整到验证k8s节点

最后的最后查看ETCD

docker run --rm -it \
--net host \
-v /etc/kubernetes:/etc/kubernetes registry.aliyuncs.com/k8sxio/etcd:3.4.13-0 etcdctl \
--cert /etc/kubernetes/pki/etcd/peer.crt \
--key /etc/kubernetes/pki/etcd/peer.key \
--cacert /etc/kubernetes/pki/etcd/ca.crt \
--endpoints https://10.151.30.71:2379 endpoint health --cluster


docker run --rm -it --net host -v /etc/kubernetes:/etc/kubernetes registry.aliyuncs.com/k8sxio/etcd:3.4.13-0 etcdctl --cert /etc/kubernetes/pki/etcd/peer.crt --key /etc/kubernetes/pki/etcd/peer.key --cacert /etc/kubernetes/pki/etcd/ca.crt --endpoints https://10.10.10.13:2379,https://10.10.10.15:2379,https://10.10.10.16:2379 endpoint status --write-out=table
Idroton
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
kubernetes二进制集群部署——–多master集群（步骤非常详细，适合初学者）
01-09
文章目录一、多master节点集群搭建示意图二、部署环境—单 master 节点的 k8s集群三、添加 master2 多节点K8s集群3.1、在master1上拷贝重要文件给master23.2、master2修改复制的配置文件3.3、制作master2 的ETCD证书3.4、启动 master2 的三个组件3.5、验证master2是否加入K8s集群四、搭建nginx负载均衡五、搭建 keepalived 高可用服务5.1、搭建 nginx 的高可用5.2、验证高可用功能六、node节点指向 LB 高可用群集七、k8s多节点集群测试 一、多master节点集群搭建示意图
kube1.19.5.tar.gz
04-27
k8s各个版本一键搭建，附带安装包，需要其他版本可以联系我
如何将单 master 升级为多 master 集群
DevOps持续集成的博客
12-08 707
前面我们课程中的集群是单 master 的集群，对于生产环境风险太大了，非常有必要做一个高可用的集群(https://kubernetes.io/zh/docs/setup/produc...
K8S单节点master改高可用K8S集群
最新发布
weixin_42866348的博客
05-31 692
k8s单master容易出现单点问题，可修改集群为三master高可用模式基于内网环境，采用Keepalived+HAproxy的形式实现负载均衡及高可用
【k8s】单master到多master平滑升级
weixin_45066823的博客
08-30 1697
由于单master节点用于线上环境发生故障时会导致集群整个不可用，生产环境中有很大风险所以要把集群升级为多master模式，其中任何一个节点宕机都不影响集群正常运行。将 kube-system 中的 kubeadm-config 配置导出，并修改配置。因为被删除的节点不是很“干净”，所以还需要把/etc/kubernets下的内容移除。根据上面操作的信息屏凑一个加入主节点的命令，在新加入的2个主节点执行。修改kubeadm-config中api-server地址。发现新的证书已经更新的。.........
Kubernetes实战(十四)-k8s高可用集群扩容master节点
sre救赎之路
12-13 1800
Kubernetes 作为容器集群系统，通过健康检查 + 重启策略实现了 Pod 故障自我修复能力，通过调度算法实现将 Pod 分布式部署，并保持预期副本数，根据 Node 失效状态自动在其他 Node 拉起 Pod，实现了应用层的高可用性。针对 Kubernetes 集群，高可用性还应包含以下两个层面的考虑：Etcd 数据库的高可用性和 Kubernetes Master 组件的高可用性。而 Etcd 我们已经采用 3 个节点组建集群实现高可用，本节将对 Master 节点高可用进行说明和实施。
Kubernetes(K8s)使用 kubeadm 方式搭建多 master 高可用 K8s 集群
养歌的博客
07-26 7737
以上就是搭建高可用k8s集群全部的内容，步骤讲解得非常详细，比较适合初学者学习，我们一起共同学习，共同进步。httpshttpshttpshttpshttpshttpshttpshttps。
Upgrade k8s single master to multi-master cluster
weixin_48505120的博客
11-11 3744
如果上面的操作都一切顺利，最后一步是将上面的集群配置信息保存到集群的 kubeadm-config 这个 ConfigMap 中去，这一点非常重要，这样以后当我们使用 kubeadm 来操作集群的时候，相关的数据不会丢失，比如升级的时候还是会带上 certSANs 中的数据进行签名的。通过上面的命令可以查看到 APIServer 签名的 DNS 和 IP 地址信息，一定要和自己的目标签名信息进行对比，如果缺失了数据就需要在上面的 certSANs 中补齐，重新生成证书。重启kube-proxy。
k8sV1.19.9源码
05-04
在k8s V1.19.9版本中，我们聚焦于其核心组件、关键特性以及源码分析，来深入理解这个强大的容器编排平台。 1. **Kubernetes核心组件**： - **etcd**: 高可用的键值存储，用于存储集群的状态。 - **apiserver**: ...
kube1.19.9.tar.gz
04-27
k8s各个版本一键搭建，附带安装包，需要其他版本可以联系我
kube1.19.10.tar.gz
04-17
快速安装k8s
K8s 1.19实战讲解.pdf
02-07
K8s 1.19实战讲解.pdf
k8s多master节点集群搭建
Sebastien23的博客
03-15 1491
命令之前的所有环境配置工作（操作系统参数、网络配置、镜像仓库、yum源等）。无需单独在这些后续加入的master节点上安装k8s网络插件。在还未加入集群的master节点上执行上面打印出来的命令来加入集群，注意加上。参照集群中的第一个master节点，对后续要加入集群的master节点做好。修改对应的操作系统参数，再重新加入master节点即可。首先搭建一个单master节点的集群，具体可以参考博文。最后检查加入集群的master节点状态是否READY。来表明是以管理节点的身份加入。
kubernetes（k8s）多master集群和负载均衡部署
Chenwei的博文
04-15 1607
kubernetes（k8s）多master集群和负载均衡部署 目录一、多master节点集群搭建示意图二、部署多master节点2.1 在master1上拷贝重要文件给master2三、搭建nginx负载均衡3.1 安装nginx服务3.2 搭建 keepalived 高可用服务3.3 开始修改node节点配置文件统一VIP 一、多master节点集群搭建示意图 我的虚拟机 IP地址规划： Master节点 master01：192.168.126.10 master02：192.168.126.40
猿创征文｜云原生|kubernetes二进制1.18单master扩展为多master
zsk_john的技术分享专用博客
09-05 944
master服务器也就是16服务器。在master节点，16服务器上，扩展部署master节点步骤。单master集群规划。多master集群规划。
K8S集群扩容多master大概思路步骤
DAVE2019的博客
05-04 1415
一.先把master1 master2 master3主机上安装 nginx,keepalived ,做成高可用VIP集群，实现任意master1宕机，备用机实现自动接管master1的服务； 二.上传k8s kubeadm安装所需要的k8simages.tar.gz到master1 master2 master3以及各个node节点上，并且使用docker load -i k8simages.tar.gz 加载镜像； 三.拷贝证书以及ETCD证书到master2 master3 四.查看jo...
扩容单机k8s服务到多个master节点
smilliy的博客
08-22 2291
本文接虚拟机部署安装k8s最新稳定版章尾的扩容服务 扩容etcd
k8s添加node节点和master节点
kali_yao的博客
01-29 4836
unable to add a new control plane instance a cluster that doesn't have a stable controlPlaneEndpoint address
Kubernetes向APIServer证书中添加更多的域名或者IP
少说多做
01-27 5422
背景 通过kubeadm部署完成以后，忘记把公网的域名和ip地址放入到apiserver的证书里面了。通过以下的步骤可以重新更新一下apiserver证书里面的地址。 步骤 1. 备份现有的Cluster配置文件 kubectl -n kube-system get configmap kubeadm-config -o jsonpath='{.data.ClusterConfiguration}' > kubeadm.yaml 2. 在yaml以下的段添加公网ip和域名 apiSer
k8s1.19.7离线部署
07-26
k8s1.19.7离线部署是指在没有互联网连接或无法直接下载Kubernetes软件包的环境中，将Kubernetes集群部署起来。以下是一个简要的步骤： 1. 下载所需的软件包： 首先，在有互联网连接的环境中，下载Kubernetes 1.19....

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值