Kubernetes 集群部署 之 多Master节点 实现高可用

前言

• 之前我做过 单Master节点的二进制安装部署k8s服务。但是万一这台 Master 宕机了，整个服务就崩了，所以为了实现集群高可用，需要增加多台 Master 解决单点故障。

https://blog.csdn.net/duanbaoke/article/details/119593573
https://blog.csdn.net/duanbaoke/article/details/117997765

一、K8s Master 高可用架构

• Keepalived + Load Balancer ： LB 可以是 LVS、Haproxy 或 Nginx，结合 keepalived 实现负载均衡高可用。
• Load Balancer 服务 接受前台用户发送过来的 kubectl 等请求，再通过反向代理转发到后台的 Master 节点上面，
• 单节点的话，多台 Node 直接指向 一台Master 节点；而多Master集群结构中，Master 会指向 Load Balancer 服务，请求都来自负载均衡服务，所以LB要做高可用。
• Master 的 Apiserver 都指向 Keepalived 的虚拟 IP上
• Master 上通过 Apiserver 直接 操作 Node 节点上的 kubelet，不需要再通过 VIP 的负载均衡转发。Node 节点会由 Master 管理实现高可用。
• 首先 ETCD 集群实现 去中心化高可用（奇数台机器），通过 Raft 算法保持数据库数据一致性。

由于LVS 消耗资源，我们用 keeplived，实现负载均衡高可用。

二、在单Master节点基础上搭建 多Master集群架构

2.1 环境准备 与 搭建步骤

搭建步骤：
多Master 高可用

• 从master01 复制 etcd，k8s 的证书、可执行命令文件、配置文件、master组件的服务管理文件 到 master02 节点
• 在master02 节点 修改 apiserver 的配置文件
• 启动 master02 相关组件
• 部署 keepalived + LB（nginx，haproxy） 实现 高可用 和 负载均衡
• keepalived 需要健康检查脚本来实现自动的故障切换
• 在 nodes 节点上修改 node相关组件的 kubeconfig 文件配置 ，把对接的 server ip 指定为 VIP

环境准备：

在上一篇单节点二进制部署的基础上扩充，需要新增 一台 master02 ，和 两台 LB 负载均衡机器。

准备机器需要是和 master01 中 /opt/k8s/k8s-cert/ k8s-cert.sh 生成证书文件中定义的地址。否则要重新生成证书。

Master 节点

k8s集群master01	192.168.10.40	kube-apiserver、kube-controller-manage、kube-scheduler、etcd
k8s集群master02	192.168.10.70

Worker Node 节点

k8s集群node01	192.168.10.50	kubelet、kube-proxy、docker、flannel
k8s集群node02	192.168.10.60

ETCD（实验为了节省机器，和Master Node 节点共用机器）

etcd集群节点1	192.168.10.40
etcd集群节点2	192.168.10.50
etcd集群节点3	192.168.10.60

web 服务负载均衡

负载均衡 Nginx + keepalive01 (master)	192.168.10.111
负载均衡 Nginx + keepalive02 (backup)	192.168.10.101

keepalived 生成的虚拟漂移IP 就是 192.168.10.120

关闭防火墙

systemctl stop firewalld
systemctl disable firewalld
setenforce 0


systemctl daemon-reload
systemctl restart docker
systemctl restart kubelet
systemctl restart kube-proxy

 

修改主机名

hostnamectl set-hostname master02  192.168.10.70
hostnamectl set-hostname lb1   192.168.10.111
hostnamectl set-hostname lb2   192.168.10.101

2.2 首先部署 Master02 节点

Master 01、02 和 ETCD 通信用的证书都是一样的。因为 ETCD 和 Node 节点不管你是哪个 master

2.2.1 从 Master01 节点上拷贝etcd 证书文件、各Master组件的 配置文件 和 服务管理文件 到 Master02 节点上**。

在 master01 上操作

scp -r /opt/etcd/ root@192.168.10.70:/opt/
scp -r /opt/kubernetes/ root@192.168.10.70:/opt

scp /usr/lib/systemd/system/{
   kube-apiserver,kube-controller-manager,kube-scheduler}.service root@192.168.10.70:/usr/lib/systemd/system/

2.2.2 Master02 修改配置文件 kube-apiserver 中的 IP

在 master02 上操作

修改配置文件 kube-apiserver 中的 IP

vim /opt/kubernetes/cfg/kube-apiserver

KUBE_APISERVER_OPTS="--logtostderr=true \
--v=4 \
--etcd-servers-https://192.168.10.40:2379,https://192.168.10.50:2379,http://192.168.10.60:2379 --bind-address=192.168.10.70\
--secure-port=6443 \    #修改
--advertise-address=192.168.10.70\  #修改

在 Master02 节点上 启动 Master上各服务并设置开机自启

systemctl start kube-apiserver.service
systemctl enable kube-apiserver.service
systemctl start kube-controller-manager.service
systemctl enable kube-controller-manager.service
systemctl start kube-scheduler.service
systemctl enable kube-scheduler.service

systemctl restart kube-apiserver.service
systemctl restart kube-controller-manager.service
systemctl restart kube-scheduler.service

2.3 查看 Node 节点状态

//查看node节点状态
ln -s /opt/kubernetes/bin/* /usr/local/bin/

kubectl get nodes
kubectl get nodes -o wide			#-o=wide：输出额外信息；对于Pod，将输出Pod所在的Node名

//此时在master02节点查到的node节点状态仅是从etcd查询到的信息，而此时node节点实际上并未与master02节点建立通信连接，因此需要使用一个VIP 把node节点与master节点都关联起来

三、负载均衡 集群部署

• 配置 Load Balancer 集群双机热备负载均衡（Nginx 实现负载均衡，keepalived 实现双机热备）

3.1 在线安装 Nginx

在 lb01、lb02 节点上操作

#配置 Nginx