前言
- 之前我做过 单Master节点的二进制安装部署k8s服务。但是万一这台 Master 宕机了,整个服务就崩了,所以为了实现集群高可用,需要增加多台 Master 解决单点故障。
https://blog.csdn.net/duanbaoke/article/details/119593573
https://blog.csdn.net/duanbaoke/article/details/117997765
一、K8s Master 高可用架构
- Keepalived + Load Balancer : LB 可以是 LVS、Haproxy 或 Nginx,结合 keepalived 实现负载均衡高可用。
- Load Balancer 服务 接受前台用户发送过来的 kubectl 等请求,再通过反向代理转发到后台的 Master 节点上面,
- 单节点的话,多台 Node 直接指向 一台Master 节点;而多Master集群结构中,Master 会指向 Load Balancer 服务,请求都来自负载均衡服务,所以LB要做高可用。
- Master 的 Apiserver 都指向 Keepalived 的虚拟 IP上
- Master 上通过 Apiserver 直接 操作 Node 节点上的 kubelet,不需要再通过 VIP 的负载均衡转发。Node 节点会由 Master 管理实现高可用。
- 首先 ETCD 集群实现 去中心化高可用(奇数台机器),通过 Raft 算法保持数据库数据一致性。
由于LVS 消耗资源,我们用 keeplived,实现负载均衡高可用。
二、在单Master节点基础上搭建 多Master集群架构
2.1 环境准备 与 搭建步骤
搭建步骤:
多Master 高可用
- 从master01 复制 etcd,k8s 的证书、可执行命令文件、配置文件、master组件的服务管理文件 到 master02 节点
- 在master02 节点 修改 apiserver 的配置文件
- 启动 master02 相关组件
- 部署 keepalived + LB(nginx,haproxy) 实现 高可用 和 负载均衡
- keepalived 需要健康检查脚本来实现自动的故障切换
- 在 nodes 节点上修改 node相关组件的 kubeconfig 文件配置 ,把对接的 server ip 指定为 VIP
环境准备:
在上一篇单节点二进制部署的基础上扩充,需要新增 一台 master02 ,和 两台 LB 负载均衡机器。
准备机器需要是和 master01 中 /opt/k8s/k8s-cert/ k8s-cert.sh
生成证书文件中定义的地址。否则要重新生成证书。
Master 节点
k8s集群master01 | 192.168.10.40 | kube-apiserver、kube-controller-manage、kube-scheduler、etcd |
k8s集群master02 | 192.168.10.70 |
Worker Node 节点
k8s集群node01 | 192.168.10.50 | kubelet、kube-proxy、docker、flannel |
k8s集群node02 | 192.168.10.60 |
ETCD(实验为了节省机器,和Master Node 节点共用机器)
etcd集群节点1 | 192.168.10.40 |
etcd集群节点2 | 192.168.10.50 |
etcd集群节点3 | 192.168.10.60 |
web 服务负载均衡
负载均衡 Nginx + keepalive01 (master) | 192.168.10.111 |
负载均衡 Nginx + keepalive02 (backup) | 192.168.10.101 |
keepalived 生成的虚拟漂移IP 就是 192.168.10.120
关闭防火墙
systemctl stop firewalld
systemctl disable firewalld
setenforce 0
systemctl daemon-reload
systemctl restart docker
systemctl restart kubelet
systemctl restart kube-proxy
修改主机名
hostnamectl set-hostname master02 192.168.10.70
hostnamectl set-hostname lb1 192.168.10.111
hostnamectl set-hostname lb2 192.168.10.101
2.2 首先部署 Master02 节点
Master 01、02 和 ETCD 通信用的证书都是一样的。因为 ETCD 和 Node 节点不管你是哪个 master
2.2.1 从 Master01 节点上拷贝etcd 证书文件
、各Master组件的 配置文件
和 服务管理文件
到 Master02 节点上**。
在 master01 上操作
scp -r /opt/etcd/ root@192.168.10.70:/opt/
scp -r /opt/kubernetes/ root@192.168.10.70:/opt
scp /usr/lib/systemd/system/{
kube-apiserver,kube-controller-manager,kube-scheduler}.service root@192.168.10.70:/usr/lib/systemd/system/
2.2.2 Master02 修改配置文件 kube-apiserver 中的 IP
在 master02 上操作
修改配置文件 kube-apiserver 中的 IP
vim /opt/kubernetes/cfg/kube-apiserver
KUBE_APISERVER_OPTS="--logtostderr=true \
--v=4 \
--etcd-servers-https://192.168.10.40:2379,https://192.168.10.50:2379,http://192.168.10.60:2379 --bind-address=192.168.10.70\
--secure-port=6443 \ #修改
--advertise-address=192.168.10.70\ #修改
在 Master02 节点上 启动 Master上各服务并设置开机自启
systemctl start kube-apiserver.service
systemctl enable kube-apiserver.service
systemctl start kube-controller-manager.service
systemctl enable kube-controller-manager.service
systemctl start kube-scheduler.service
systemctl enable kube-scheduler.service
systemctl restart kube-apiserver.service
systemctl restart kube-controller-manager.service
systemctl restart kube-scheduler.service
2.3 查看 Node 节点状态
//查看node节点状态
ln -s /opt/kubernetes/bin/* /usr/local/bin/
kubectl get nodes
kubectl get nodes -o wide #-o=wide:输出额外信息;对于Pod,将输出Pod所在的Node名
//此时在master02节点查到的node节点状态仅是从etcd查询到的信息,而此时node节点实际上并未与master02节点建立通信连接,因此需要使用一个VIP 把node节点与master节点都关联起来
三、负载均衡 集群部署
- 配置 Load Balancer 集群双机热备负载均衡(Nginx 实现负载均衡,keepalived 实现双机热备)
3.1 在线安装 Nginx
在 lb01、lb02 节点上操作