【搞定K8S】第3天7：kubernetes 高可用集群搭建

最新推荐文章于 2024-04-26 15:52:11 发布

就叫一片白纸

最新推荐文章于 2024-04-26 15:52:11 发布

阅读量529

点赞数

分类专栏：搞定K8S

本文链接：https://blog.csdn.net/qq_33591055/article/details/115289153

版权

搞定K8S 专栏收录该内容

23 篇文章 13 订阅

订阅专栏

1、概述
Kubernetes 作为容器集群系统，通过健康检查+重启策略实现了 Pod 故障自我修复能力，通过调度算法实现将 Pod 分布式部署，监控其预期副本数，并根据 Node 失效状态自动在正常 Node 启动 Pod，实现了应用层的高可用性。

针对 Kubernetes 集群，高可用性还应包含以下两个层面的考虑：Etcd 数据库的高可用性和 Kubernetes Master 组件的高可用性。而 Etcd 我们已经采用 3 个节点组建集群实现高可用，本节将对 Master 节点高可用进行说明和实施。

Master 节点扮演着总控中心的角色，通过不断与工作节点上的 Kubelet 和 kube-proxy 进行通信来维护整个集群的健康工作状态。如果 Master 节点故障，将无法使用 kubectl 工具或者 API 任何集群管理。

Master 节点主要有三个服务 kube-apiserver、kube-controller-mansger 和 kube- scheduler，其中 kube-controller-mansger 和 kube-scheduler 组件自身通过选择机制已经实现了高可用，所以 Master 高可用主要针对 kube-apiserver 组件，而该组件是以 HTTP API 提供服务，因此对他高可用与 Web 服务器类似，增加负载均衡器对其负载均衡即可，并且可水平扩容。

多 Master 架构图：

在这里插入图片描述

2、安装 Docker 同单 Master 安装
3、部署 Master Node
新 Master 内容与已部署的 Master1 节点所有操作一致。所以我们只需将 Master1 节点所有
K8s 文件拷贝过来，再修改下服务器 IP 和主机名启动即可。

3.1、创建 etcd 证书目录

在 Master2（192.168.31.74）创建 etcd 证书目录：

mkdir -p /opt/etcd/ssl

3.2、拷贝文件（Master1 操作）

拷贝 Master1 节点 K8s 所有涉及文件和 etcd 证书：

scp -r /opt/kubernetes root@192.168.31.74:/opt

scp -r /opt/cni/ root@192.168.31.74:/opt

scp -r /opt/etcd/ssl root@192.168.31.74:/opt/etcd

scp /usr/lib/systemd/system/kube* root@192.168.31.74:/usr/lib/systemd/system scp /usr/bin/kubectl	root@192.168.31.74:/usr/bin

3.3、删除证书文件

删除 kubelet 证书和 kubeconfig 文件：

rm -f /opt/kubernetes/cfg/kubelet.kubeconfig
rm -f /opt/kubernetes/ssl/kubelet*

3.4、修改配置文件 IP 和主机名

修改 apiserver、kubelet 和 kube-proxy 配置文件为本地 IP：

vi /opt/kubernetes/cfg/kube-apiserver.conf

...

--bind-address=192.168.31.74 \

--advertise-address=192.168.31.74 \

...


vi /opt/kubernetes/cfg/kubelet.conf

--hostname-override=k8s-master2


vi /opt/kubernetes/cfg/kube-proxy-config.yml hostnameOverride: k8s-master2

3.5、启动设置开机启动

systemctl daemon-reload 
systemctl start kube-apiserver

systemctl start kube-controller-manager systemctl start kube-scheduler systemctl start kubelet
systemctl start kube-proxy systemctl enable kube-apiserver
systemctl enable kube-controller-manager systemctl enable kube-scheduler systemctl enable kubelet
systemctl enable kube-proxy

3.6、查看集群状态

kubectl get cs	
NAME	STATUS	MESSAGE	ERROR
scheduler	Healthy	ok
controller-manager	Healthy	ok
etcd-1	Healthy	{"health":"true"}
etcd-2	Healthy	{"health":"true"}
etcd-0	Healthy	{"health":"true"}

3.7、批准 kubelet 证书申请
在这里插入图片描述

4、部署 Nginx 负载均衡器
（1）kube-apiserver 高可用架构图：

（2）涉及软件：

Keepalived 是一个主流高可用软件，基于 VIP 绑定实现服务器双机热备，在上述拓扑中， Keepalived 主要根据 Nginx 运行状态判断是否需要故障转移（偏移 VIP），例如当 Nginx 主节点挂掉，VIP 会自动绑定在 Nginx 备节点，从而保证 VIP 一直可用，实现 Nginx 高可用。

Nginx 是一个主流 Web 服务和反向代理服务器，这里用四层实现对 apiserver 实现负载均衡。

4.1、安装软件包（主/备）

4.2、Nginx 配置文件（主/备一样）

4.3、keepalived 配置文件（Nginx Master）

vrrp_script：指定检查 nginx 工作状态脚本（根据 nginx 状态判断是否故障转移）

virtual_ipaddress：虚拟 IP（VIP）

4.4、检查 nginx 状态脚本：

4.5、keepalived 配置文件（Nginx Backup）

上述配置文件中检查 nginx 运行状态脚本：

注：keepalived 根据脚本返回状态码（0 为工作正常，非 0 不正常）判断是否故障转移。

4.6、启动并设置开机启动

4.7、查看 keepalived 工作状态

可以看到，在 ens33 网卡绑定了 192.168.31.88 虚拟 IP，说明工作正常。

4.8、Nginx+Keepalived 高可用测试

关闭主节点 Nginx，测试 VIP 是否漂移到备节点服务器。在 Nginx Master 执行 pkill nginx

在 Nginx Backup，ip addr 命令查看已成功绑定 VIP。

4.9、访问负载均衡器测试

找 K8s 集群中任意一个节点，使用 curl 查看 K8s 版本测试，使用 VIP 访问：

可以正确获取到 K8s 版本信息，说明负载均衡器搭建正常。该请求数据流程：curl ->
vip(nginx) -> apiserver

通过查看 Nginx 日志也可以看到转发 apiserver IP：

4.10、修改所有 Worker Node 连接 LB VIP

试想下，虽然我们增加了 Master2 和负载均衡器，但是我们是从单 Master 架构扩容的，也就是说目前所有的 Node 组件连接都还是 Master1，如果不改为连接 VIP 走负载均衡器，那么 Master 还是单点故障。

因此接下来就是要改所有 Node 组件配置文件中的连接 apiserver IP：

也就是通过 kubectl get node 命令查看到的节点。

在上述所有 Worker Node 执行：

include /usr/share/nginx/modules/*.conf;


events {

worker_connections 1024;

}


# 四层负载均衡，为两台 Master apiserver 组件提供负载均衡stream {


log_format	main	'$remote_addr $upstream_addr - [$time_local] $status
$upstream_bytes_sent';


access_log	/var/log/nginx/k8s-access.log	main;


upstream k8s-apiserver {

server 192.168.31.71:6443;	# Master1 APISERVER IP:PORT server 192.168.31.74:6443;	# Master2 APISERVER IP:PORT
}


server {

listen 6443;

proxy_pass k8s-apiserver;

}

}


http {

log_format	main	'$remote_addr - $remote_user [$time_local] "$request" ' '$status $body_bytes_sent "$http_referer" '

'"$http_user_agent" "$http_x_forwarded_for"';


access_log	/var/log/nginx/access.log	main;


sendfile	on;

tcp_nopush	on;

tcp_nodelay	on; keepalive_timeout	65;
types_hash_max_size 2048;


include	/etc/nginx/mime.types; default_type	application/octet-stream;


server {

listen	80 default_server; server_name	_;


location / {

}

}

} EOF

cat > /etc/keepalived/keepalived.conf << EOF global_defs {
notification_email { acassen@firewall.loc failover@firewall.loc sysadmin@firewall.loc
}

notification_email_from Alexandre.Cassen@firewall.loc smtp_server 127.0.0.1
smtp_connect_timeout 30 router_id NGINX_MASTER
}


vrrp_script check_nginx {

script "/etc/keepalived/check_nginx.sh"

}


vrrp_instance VI_1 { state MASTER interface ens33
virtual_router_id 51 # VRRP 路由 ID 实例，每个实例是唯一的priority 100	# 优先级，备服务器设置 90
advert_int 1	# 指定 VRRP 心跳包通告间隔时间，默认 1 秒authentication {
auth_type PASS auth_pass 1111
}

# 虚 拟 IP virtual_ipaddress {
192.168.31.88/24

}

track_script { check_nginx
}

} EOF

cat >/etc/keepalived/check_nginx.sh	<< "EOF" #!/bin/bash
count=$(ps -ef |grep nginx |egrep -cv "grep|$$")


if [ "$count" -eq 0 ];then exit 1
else

exit 0

fi EOF

chmod +x /etc/keepalived/check_nginx.sh

cat > /etc/keepalived/keepalived.conf << EOF global_defs {
notification_email { acassen@firewall.loc failover@firewall.loc sysadmin@firewall.loc
}

notification_email_from Alexandre.Cassen@firewall.loc smtp_server 127.0.0.1
smtp_connect_timeout 30 router_id NGINX_BACKUP
}


vrrp_script check_nginx {

script "/etc/keepalived/check_nginx.sh"

}


vrrp_instance VI_1 {

state BACKUP interface ens33
virtual_router_id 51 # VRRP 路由 ID 实例，每个实例是唯一的priority 90
advert_int 1 authentication {
auth_type PASS auth_pass 1111
}

virtual_ipaddress { 192.168.31.88/24
}

track_script { check_nginx
}

} EOF

cat >/etc/keepalived/check_nginx.sh	<< "EOF" #!/bin/bash
count=$(ps -ef |grep nginx |egrep -cv "grep|$$")


if [ "$count" -eq 0 ];then exit 1
else

exit 0

fi EOF

chmod +x /etc/keepalived/check_nginx.sh systemctl daemon-reload

systemctl start nginx systemctl start keepalived systemctl enable nginx systemctl enable keepalived ip a

1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000

link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00 inet 127.0.0.1/8 scope host lo
valid_lft forever preferred_lft forever inet6 ::1/128 scope host
valid_lft forever preferred_lft forever 

2: ens33: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP group default qlen 1000

link/ether 00:0c:29:04:f7:2c brd ff:ff:ff:ff:ff:ff

inet 192.168.31.80/24 brd 192.168.31.255 scope global noprefixroute ens33 valid_lft forever preferred_lft forever
inet 192.168.31.88/24 scope global secondary ens33 valid_lft forever preferred_lft forever
inet6 fe80::20c:29ff:fe04:f72c/64 scope link valid_lft forever preferred_lft forever
curl -k https://192.168.31.88:6443/version

{

"major": "1",

"minor": "18",

"gitVersion": "v1.18.3",

"gitCommit": "2e7996e3e2712684bc73f0dec0200d64eec7fe40", "gitTreeState": "clean",
"buildDate": "2020-05-20T12:43:34Z",

"goVersion": "go1.13.9",







-f	
[30/May/2020:11:15:10	+0800]	200	422
[30/May/2020:11:15:26	+0800]	200	422

就叫一片白纸

关注

0
点赞
踩
2

收藏

觉得还不错? 一键收藏
3
评论
【搞定K8S】第3天7：kubernetes 高可用集群搭建

1、概述Kubernetes 作为容器集群系统，通过健康检查+重启策略实现了 Pod 故障自我修复能力，通过调度算法实现将 Pod 分布式部署，监控其预期副本数，并根据 Node 失效状态自动在正常 Node 启动 Pod，实现了应用层的高可用性。针对 Kubernetes 集群，高可用性还应包含以下两个层面的考虑：Etcd 数据库的高可用性和 Kubernetes Master 组件的高可用性。而 Etcd 我们已经采用 3 个节点组建集群实现高可用，本节将对 Master 节点高可用进行说明和实
复制链接

扫一扫