Kubernetes全栈架构师（Kubeadm高可用安装k8s集群）--学习笔记

目录

• k8s高可用架构解析
• Kubeadm基本环境配置
• Kubeadm系统及内核升级
• Kubeadm基本组件安装
• Kubeadm高可用组件安装
• Kubeadm集群初始化
• 高可用Master及Token过期处理
• Kubeadm Node及Calico节点配置
• Dashboard&Metrics Server安装

k8s高可用架构解析

• Etcd Cluster：键值数据库，存放k8s的数据，比如我们创建的资源，所做的变更
• Master：控制节点，控制整个集群
• Node：主要用来跑pod和容器
• Kube-APIServer：它是整个k8s的控制大脑，所有的流量都会经过APIServer
• ControllerManager：集群的控制器
• Scheduler：集群的调度器，控制pod调度到哪一个node节点
• Load Balancer：负载均衡，一般使用nginx + keepalived，或者keepalived + haproxy，如果有硬件资源如f5，就不需要Load Balancer，通过虚拟IP连接

Kubeadm基本环境配置

Kubeadm 是官方推荐的安装方式，但是生产环境推荐使用二进制的方式安装

Kubeadm 证书的有效期是一年，因为官方建议运行一年的过程中必须要升级一次

高可用Kubernetes集群规划

主机名	IP地址	说明
k8s-master01 ~ 03	192.168.232.128 ~ 130	master节点 * 3
k8s-master-lb	192.168.232.236	keepalived虚拟IP
k8s-node01 ~ 02	192.168.232.131 ~ 132	worker节点 * 2

配置信息	备注
Pod网段	172.168.0.0/12
Service网段	10.96.0.0/12

VIP（虚拟IP）不要和公司内网IP重复，首先去ping一下，不通才可用。VIP需要和主机在同一个局域网内

[root@localhost ~]# ping 192.168.232.236
PING 192.168.232.236 (192.168.232.236) 56(84) bytes of data.
From 192.168.232.128 icmp_seq=1 Destination Host Unreachable
From 192.168.232.128 icmp_seq=2 Destination Host Unreachable
From 192.168.232.128 icmp_seq=3 Destination Host Unreachable

公有云上搭建VIP是公有云的负载均衡的IP，比如阿里云的内网SLB的地址，腾讯云内网ELB的地址

基本环境配置

• 环境搭建
• 静态ip设置
• 节点配置

环境搭建

不要使用带中文的服务器和克隆的虚拟机

安装虚拟机：https://www.cnblogs.com/mr-xiong/p/12468280.html

下载centos-7镜像：https://zhuanlan.zhihu.com/p/104118123

三台master节点，两台node节点，每台虚拟机分配2核2G，存储使用20G硬盘

安装完成后启动并通过Xshell 7连接五台虚拟机

Xshell 7下载地址：https://downloadly.net/2020/15/4832/03/xmanager/01/?#/4832-netsaran-122140071106.html

使用Xshell 7可以同时发送命令到所有会话，菜单栏--工具--发送键输入到所有会话

通过 VMware 菜单栏编辑，虚拟网络编辑器查看子网地址，192.168.232.0

静态ip设置

打开目录

cd /etc/sysconfig/network-scripts

修改文件 ifcfg-ens33

#修改BOOTPROTO为static
#BOOTPROTO=dhcp
BOOTPROTO=static

#修改ONBOOT为yes
ONBOOT=yes

IPADDR=192.168.232.128
GATEWAY=192.168.232.2
NETMASK=255.255.255.0
DNS1=114.114.114.114
DNS2=8.8.8.8

重启网络服务

service network restart

查看当前IP地址

ip a

根据集群规划分别设置五台虚拟机静态ip，设置完成后使用 Xshell 7 连接到五台虚拟机

Xshell 7 切换tab快捷键：ctrl + tab

节点配置

所有节点配置hosts，修改/etc/hosts如下：

vim /etc/hosts

127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.232.128 k8s-master01
192.168.232.129 k8s-master02
192.168.232.130 k8s-master03
192.168.232.236 k8s-master-lb # 如果不是高可用集群，该IP为Master01的IP
192.168.232.131 k8s-node01
192.168.232.132 k8s-node02

CentOS 7安装yum源如下：

curl -o /etc/yum.repos.d/CentOS-Base.repo https://mirrors.aliyun.com/repo/Centos-7.repo
yum install -y yum-utils device-mapper-persistent-data lvm2
yum-config-manager --add-repo https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
cat <<EOF > /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64/
enabled=1
gpgcheck=1
repo_gpgcheck=1
gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF
sed -i -e '/mirrors.cloud.aliyuncs.com/d' -e '/mirrors.aliyuncs.com/d' /etc/yum.repos.d/CentOS-Base.repo

必备工具安装

yum install wget jq psmisc vim net-tools telnet yum-utils device-mapper-persistent-data lvm2 git -y

所有节点关闭防火墙、selinux、dnsmasq、swap。服务器配置如下：

systemctl disable --now firewalld 
systemctl disable --now dnsmasq
systemctl disable --now NetworkManager

setenforce 0

sed -i 's#SELINUX=enforcing#SELINUX=disabled#g' /etc/sysconfig/selinux
sed -i 's#SELINUX=enforcing#SELINUX=disabled#g' /etc/selinux/config

查看config文件，SELINUX被设为disabled

[root@localhost ~]# cat /etc/selinux/config 

# This file controls the state of SELinux on the system.
# SELINUX= can take one of these three values:
#     enforcing - SELinux security policy is enforced.
#     permissive - SELinux prints warnings instead of enforcing.
#     disabled - No SELinux policy is loaded.
SELINUX=disabled
# SELINUXTYPE= can take one of three values:
#     targeted - Targeted processes are protected,
#     minimum - Modification of targeted policy. Only selected processes are protected. 
#     mls - Multi Level Security protection.
SELINUXTYPE=targeted 

关闭swap分区

swapoff -a && sysctl -w vm.swappiness=0

注释后重启服务器，swap分区就不会再打开

sed -ri '/^[^#]*swap/s@^@#@' /etc/fstab

安装ntpdate，保证五台服务器时间一致，云服务器不需要

rpm -ivh http://mirrors.wlnmp.com/centos/wlnmp-release-centos.noarch.rpm
yum install ntpdate -y

所有节点同步时间。时间同步配置如下：

ln -sf /usr/share/zoneinfo/Asia/Shanghai /etc/localtime
echo 'Asia/Shanghai' >/etc/timezone
ntpdate time2.aliyun.com

# 查看一下时间
date

# 加入到crontab
crontab -e

*/5 * * * * /usr/sbin/ntpdate time2.aliyun.com

所有节点配置limit：

ulimit -SHn 65535

设置limit永久生效

vim /etc/security/limits.conf
# 末尾添加如下内容
* soft nofile 655360
* hard nofile 131072
* soft nproc 655350
* hard nproc 655350
* soft memlock unlimited
* hard memlock unlimited

取消发送键输入到所有会话

Master01节点免密钥登录其他节点，安装过程中生成配置文件和证书均在Master01上操作，集群管理也在Master01上操作，阿里云或者AWS上需要单独一台kubectl服务器。密钥配置如下：

ssh-keygen -t rsa

# 把文件传送到五个节点
for i in k8s-master01 k8s-master02 k8s-master03 k8s-node01 k8s-node02;do ssh-copy-id -i .ssh/id_rsa.pub $i;done

下载安装所有的源码文件：

cd /root/ ; git clone https://github.com/dotbalo/k8s-ha-install.git

无法下载的可以通过本地拉取压缩再上传到服务器

yum安装zip

yum install -y unzip zip

解压文件

unzip k8s-ha-install.zip

所有节点（发送键输入到所有会话）升级系统并重启，此处升级没有升级内核，下节会单独升级内核：

yum update -y --exclude=kernel* && reboot #CentOS7需要升级，CentOS8可以按需升级系统

推荐centos7，因为CentOS8在2021年停止维护，而centos7到2024年才停止维护

重启完成之后，查看版本（CentOS Linux release 7.9.2009 (Core)）

cat /etc/redhat-release

Kubeadm系统及内核升级

查看内核版本

uname -a

内核3.10版本使用docker会有一些bug，需要升级

CentOS7 需要升级内核至4.18+，本地升级的版本为4.19

在master01节点（取消发送键输入到所有会话）下载内核：

cd /root
wget http://193.49.22.109/elrepo/kernel/el7/x86_64/RPMS/kernel-ml-devel-4.19.12-1.el7.elrepo.x86_64.rpm
wget http://193.49.22.109/elrepo/k