Centos7.4部署k8s v1.20.4高可用集群(主备模式)

一、环境部署

主机列表：

共有7台服务器，3台control plane，3台work,1台client。

k8s 版本：(这里的版本我用的v1.20.4,建议使用v1.18.2（已测试），下图仅供参考)

二、高可用架构

本文采用kubeadm方式搭建高可用k8s集群，k8s集群的高可用实际是k8s各核心组件的高可用，这里使用主备模式，架构如下：

主备模式高可用架构说明：

• apiserver 通过keepalived实现高可用，当某个节点故障时触发keepalived vip 转移；
• controller-manager k8s内部通过选举方式产生领导者(由--leader-elect 选型控制，默认为true)，同一时刻集群内只有一个controller-manager组件运行；
• scheduler k8s内部通过选举方式产生领导者(由--leader-elect 选型控制，默认为true)，同一时刻集群内只有一个scheduler组件运行；
• etcd 通过运行kubeadm方式自动创建集群来实现高可用，部署的节点数为奇数，3节点方式最多容忍一台机器宕机。

三、安装准备工作

control plane和work节点都执行本部分操作。

安装Centos时已经禁用了防火墙和selinux并设置了阿里源。

1. 配置主机名

1.1 修改主机名,关闭防火墙

[root@centos7 ~]# hostnamectl set-hostname master1
[root@centos7 ~]# cat /etc/hostname             
master01

[root@centos7 ~]# setenforce 0
[root@centos7 ~]# sed -i 's/^SELINUX=enforcing$/SELINUX=permissive/' /etc/selinux/config
[root@centos7 ~]# systemctl stop firewalld
[root@centos7 ~]# systemctl disable firewalld

退出重新登陆即可显示新设置的主机名master01

1.2 修改hosts文件

[root@master01 ~]# cat >> /etc/hosts << EOF
192.168.1.5    master1
192.168.1.6    master2
192.168.1.7    master3
192.168.1.11   node1 
192.168.1.12   node2
192.168.1.13   node3
EOF

1.3 #测试hosts是否可用

for i in `cat /etc/hosts|sed '1,2d'|awk '{print $2}'`;do ping -c 1 $i;done

2. 验证mac地址uuid

cat /sys/class/net/ens33/address
cat /sys/class/dmi/id/product_uuid

保证各节点mac和uuid唯一

3. 禁用swap

3.1 临时禁用

[root@master01 ~]# swapoff -a

3.2 永久禁用

若需要重启后也生效，在禁用swap后还需修改配置文件/etc/fstab，注释swap

[root@master01 ~]# sed -i.bak '/swap/s/^/#/' /etc/fstab

4. 内核参数修改

本文的k8s网络使用flannel，该网络需要设置内核参数bridge-nf-call-iptables=1，修改这个参数需要系统有br_netfilter模块。

4.1 br_netfilter模块加载

查看br_netfilter模块：

[root@master01 ~]# lsmod |grep br_netfilter

如果系统没有br_netfilter模块则执行下面的新增命令，如有则忽略。

临时新增br_netfilter模块:

[root@master01 ~]# modprobe br_netfilter

该方式重启后会失效。

永久新增br_netfilter模块：

[root@master01 ~]# cat > /etc/rc.sysinit << EOF
#!/bin/bash
for file in /etc/sysconfig/modules/*.modules ; do
[ -x $file ] && $file
done
EOF
[root@master01 ~]# cat > /etc/sysconfig/modules/br_netfilter.modules << EOF
modprobe br_netfilter
EOF
[root@master01 ~]# chmod 755 /etc/sysconfig/modules/br_netfilter.modules

4.2 内核参数临时修改

[root@master01 ~]# sysctl net.bridge.bridge-nf-call-iptables=1
net.bridge.bridge-nf-call-iptables = 1
[root@master01 ~]# sysctl net.bridge.bridge-nf-call-ip6tables=1
net.bridge.bridge-nf-call-ip6tables = 1

内核参数永久修改

[root@master01 ~]# cat <<EOF >  /etc/sysctl.d/k8s.conf
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
EOF
[root@master01 ~]# sysctl -p /etc/sysctl.d/k8s.conf
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1

5. 设置kubernetes源

5.1 新增kubernetes源

阿里云：

cat <<EOF > /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64/
enabled=1
gpgcheck=1
repo_gpgcheck=1
gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF

默认国外源：
cat <<EOF > /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=https://packages.cloud.google.com/yum/repos/kubernetes-el7-x86_64
enabled=1
gpgcheck=1
repo_gpgcheck=1
gpgkey=https://packages.cloud.google.com/yum/doc/yum-key.gpg https://packages.cloud.google.com/yum/doc/rpm-package-key.gpg
EOF

• [] 中括号中的是repository id，唯一，用来标识不同仓库
• name 仓库名称，自定义
• baseurl 仓库地址
• enable 是否启用该仓库，默认为1表示启用
• gpgcheck 是否验证从该仓库获得程序包的合法性，1为验证
• repo_gpgcheck 是否验证元数据的合法性 元数据就是程序包列表，1为验证
• gpgkey=URL 数字签名的公钥文件所在位置，如果gpgcheck值为1，此处就需要指定gpgkey文件的位置，如果gpgcheck值为0就不需要此项了

5.2 更新缓存

[root@master01 ~]# yum clean all
[root@master01 ~]# yum -y makecache

6. 免密登录

配置master1到master2、master3免密登录，本步骤只在master1上执行。

6.1 创建秘钥

[root@master1 ~]# ssh-keygen -t rsa

6.2 将秘钥同步至master2，master3

for i in `cat /etc/hosts|sed '1,3d'|awk '{print $1}'`;do ssh-copy-id $i;done

6.3 免密登陆测试

[root@master1 ~]# ssh master2
[root@master1 ~]# ssh master3

master1可以直接登录master2和master3，不需要输入密码。

四、Docker安装

control plane和work节点都执行本部分操作。

1. 安装依赖包

[root@master1 ~]# yum install -y yum-utils device-mapper-persistent-data lvm2

2. 设置Docker源

国内：
[root@master1 ~]# sudo yum-config-manager \
    --add-repo \
    https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo

国外：
[root@master1 ~]# sudo yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo

3. 安装Docker CE

3.1 docker安装版本查看

[root@master1 ~]# yum list docker-ce --showduplicates | sort -r

3.2 安装docker

[root@master1 ~]# yum install docker-ce-19.03.6 docker-ce-cli-19.03.6 containerd.io -y

指定安装的docker版本为19.03.6。

4. 启动Docker

[root@master1 ~]# systemctl start docker
[root@master1 ~]# systemctl enable docker

5. 命令补全

5.1 安装bash-completion

[root@master1 ~]# yum -y install bash-completion

5.2 加载bash-completion

[root@master1 ~]# source /etc/profile.d/bash_completion.sh

#添加IP转发
echo "net.ipv4.ip_forward=1" >> /etc/sysctl.conf
sysctl -p

6. 镜像加速

由于Docker Hub的服务器在国外，下载镜像会比较慢，可以配置镜像加速器。主要的加速器有：Docker官方提供的中国registry mirror、阿里云加速器、DaoCloud 加速器，本文以阿里加速器配置为例。

6.1 登陆阿里云容器模块

登陆地址为：https://cr.console.aliyun.com ,未注册的可以先注册阿里云账户

6.2 配置镜像加速器

配置daemon.json文件

[root@master1 ~]# mkdir -p /etc/docker
[root@master1 ~]# tee /etc/docker/daemon.json <<-'EOF'
{
  "registry-mirrors": ["https://v16stybc.mirror.aliyuncs.com"]
}
EOF

重启服务

[root@master1 ~]# systemctl daemon-reload
[root@master1 ~]# systemctl restart docker

加速器配置完成。

7. 验证

[root@master1 ~]# docker --version
[root@master1 ~]# docker info

通过查询docker版本和运行容器hello-world来验证docker是否安装成功。

8. 修改Cgroup Driver

8.1 修改daemon.json