lvs+keepalived部署k8s v1.16.4高可用集群

一、部署环境

1.1 主机列表

主机名	Centos版本	ip	docker version	flannel version	Keepalived version	主机配置	备注
lvs-keepalived01	7.6.1810	172.27.34.28	/	/	v1.3.5	4C4G	lvs-keepalived
lvs-keepalived01	7.6.1810	172.27.34.29	/	/	v1.3.5	4C4G	lvs-keepalived
master01	7.6.1810	172.27.34.35	18.09.9	v0.11.0	/	4C4G	control plane
master02	7.6.1810	172.27.34.36	18.09.9	v0.11.0	/	4C4G	control plane
master03	7.6.1810	172.27.34.37	18.09.9	v0.11.0	/	4C4G	control plane
work01	7.6.1810	172.27.34.161	18.09.9	/	/	4C4G	worker nodes
work02	7.6.1810	172.27.34.162	18.09.9	/	/	4C4G	worker nodes
work03	7.6.1810	172.27.34.163	18.09.9	/	/	4C4G	worker nodes
VIP	7.6.1810	172.27.34.222	/	/	v1.3.5	4C4G	在lvs-keepalived两台主机上浮动
client	7.6.1810	172.27.34.85	/	/	/	4C4G	client

共有9台服务器，2台为lvs-keepalived集群，3台control plane集群，3台work集群，1台client。

1.2 k8s 版本

主机名	kubelet version	kubeadm version	kubectl version	备注
master01	v1.16.4	v1.16.4	v1.16.4	kubectl选装
master02	v1.16.4	v1.16.4	v1.16.4	kubectl选装
master03	v1.16.4	v1.16.4	v1.16.4	kubectl选装
work01	v1.16.4	v1.16.4	v1.16.4	kubectl选装
work02	v1.16.4	v1.16.4	v1.16.4	kubectl选装
work03	v1.16.4	v1.16.4	v1.16.4	kubectl选装
client	/	/	v1.16.4	client

 

二、高可用架构

1. 架构图

本文采用kubeadm方式搭建高可用k8s集群，k8s集群的高可用实际是k8s各核心组件的高可用，这里使用集群模式(针对apiserver来讲)，架构如下：

2. 集群模式高可用架构说明

核心组件	高可用模式	高可用实现方式
apiserver	集群	lvs+keepalived
controller-manager	主备	leader election
scheduler	主备	leader election
etcd	集群	kubeadm

 

• apiserver 通过lvs-keepalived实现高可用，vip将请求分发至各个control plane节点的apiserver组件；

• controller-manager k8s内部通过选举方式产生领导者(由--leader-elect 选型控制，默认为true)，同一时刻集群内只有一个controller-manager组件运行；

• scheduler k8s内部通过选举方式产生领导者(由--leader-elect 选型控制，默认为true)，同一时刻集群内只有一个scheduler组件运行；

• etcd 通过运行kubeadm方式自动创建集群来实现高可用，部署的节点数为奇数，3节点方式最多容忍一台机器宕机。

三、Centos7.6安装

本文所有的服务器都为Centos7.6，Centos7.6安装详见：Centos7.6操作系统安装及优化全纪录

安装Centos时已经禁用了防火墙和selinux并设置了阿里源。

四、k8s集群安装准备工作

control plane和work节点都执行本部分操作，以master01为例记录搭建过程。

1. 配置主机名

1.1 修改主机名

[root@centos7 ~]# hostnamectl set-hostname master01
[root@centos7 ~]# more /etc/hostname             
master01

退出重新登陆即可显示新设置的主机名master01，各服务器修改为对应的主机名。

1.2 修改hosts文件

[root@master01 ~]# cat >> /etc/hosts << EOF
172.27.34.35    master01
172.27.34.36   master02
172.27.34.37    master03
172.27.34.161   work01 
172.27.34.162   work02
172.27.34.163   work03
EOF

2. 验证mac地址uuid

[root@master01 ~]# cat /sys/class/net/ens160/address
[root@master01 ~]# cat /sys/class/dmi/id/product_uuid

保证各节点mac和uuid唯一

3. 禁用swap

3.1 临时禁用

[root@master01 ~]# swapoff -a

3.2 永久禁用

若需要重启后也生效，在禁用swap后还需修改配置文件/etc/fstab，注释swap

[root@master01 ~]# sed -i.bak '/swap/s/^/#/' /etc/fstab

4. 内核参数修改

本文的k8s网络使用flannel，该网络需要设置内核参数bridge-nf-call-iptables=1，修改这个参数需要系统有br_netfilter模块。

4.1 br_netfilter模块加载

查看br_netfilter模块：

[root@master01 ~]# lsmod |grep br_netfilter

如果系统没有br_netfilter模块则执行下面的新增命令，如有则忽略。

临时新增br_netfilter模块:

[root@master01 ~]# modprobe br_netfilter

该方式重启后会失效

永久新增br_netfilter模块：

[root@master01 ~]# cat > /etc/rc.sysinit << EOF
#!/bin/bash
for file in /etc/sysconfig/modules/*.modules ; do
[ -x $file ] && $file
done
EOF
[root@master01 ~]# cat > /etc/sysconfig/modules/br_netfilter.modules << EOF
modprobe br_netfilter
EOF
[root@master01 ~]# chmod 755 /etc/sysconfig/modules/br_netfilter.modules

4.2 内核参数临时修改

[root@master01 ~]# sysctl net.bridge.bridge-nf-call-iptables=1
net.bridge.bridge-nf-call-iptables = 1
[root@master01 ~]# sysctl net.bridge.bridge-nf-call-ip6tables=1
net.bridge.bridge-nf-call-ip6tables = 1

4.3 内核参数永久修改

[root@master01 ~]# cat <<EOF >  /etc/sysctl.d/k8s.conf
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
EOF
[root@master01 ~]# sysctl -p /etc/sysctl.d/k8s.conf
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1

5. 设置kubernetes源

5.1 新增kubernetes源

[root@master01 ~]# cat <<EOF > /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64/
enabled=1
gpgcheck=1
repo_gpgcheck=1
gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF

• [] 中括号中的是repository id，唯一，用来标识不同仓库

• name 仓库名称，自定义

• baseurl 仓库地址

• enable 是否启用该仓库，默认为1表示启用

• gpgcheck 是否验证从该仓库获得程序包的合法性，1为验证

• repo_gpgcheck 是否验证元数据的合法性 元数据就是程序包列表，1为验证

• gpgkey=URL 数字签名的公钥文件所在位置，如果gpgcheck值为1，此处就需要指定gpgkey文件的位置，如果gpgcheck值为0就不需要此项了

5.2 更新缓存

[root@master01 ~]# yum clean all
[root@master01 ~]# yum -y makecache

6. 免密登录

配置master01到master02、master03免密登录，本步骤只在master01上执行。

6.1 创建秘钥

[root@master01 ~]# ssh-keygen -t rsa

6.2 将秘钥同步至master02/master03

[root@master01 ~]# ssh-copy-id -i /root/.ssh/id_rsa.pub root@172.27.34.35
[root@master01 ~]# ssh-copy-id -i /root/.ssh/id_rsa.pub root@172.27.34.36

6.3 免密登陆测试

[root@master01 ~]# ssh 172.27.34.36
[root@master01 ~]# ssh master03

master01可以直接登录master02和master03，不需要输入密码。

7. 服务器重启

重启各control plane和work节点。

五、Docker安装

control plane和work节点都执行本部分操作。

1. 安装依赖包

[root@master01 ~]# yum install -y yum-utils   device-mapper-persistent-data   lvm2

2. 设置Docker源

[root@master01 ~]# yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo

3. 安装Docker CE

3.1 docker安装版本查看

[root@master01 ~]# yum list docker-ce --showduplicates | sort -r

3.2 安装docker

[root@master01 ~]# yum install docker-ce-18.09.9 docker-ce-cli-18.09.9 containerd.io -y

指定安装的docker版本为18.09.9

4. 启动Docker

[root@master01 ~]# systemctl start docker
[root@master01 ~]# systemctl enable docker