K8S集群环境搭建

一、集群类型

kubernetes 集群大体上分为两类： 一主多从 和 多主多从 。

• 一主多从：一台 Master 节点和多台 Node 节点，搭建简单，但是有单机故障风险，适合用于测试环境
• 多主多从：多台Master 节点和多台 Node 节点，搭建麻烦，安全性高，适合用于生产环境

二、安装方式

kubernetes有多种部署方式，目前主流的方式有kubeadm、minikube、二进制包

• minikube：一个用于快速搭建单节点kubernetes的工具
• kubeadm：一个用于快速搭建kubernetes集群的工具
• 二进制包：从官网下载每个组件的二进制包，依次去安装，此方式对于理解kubernetes组件更加有效

三、K8S环境搭建

本次使用 kubeadm 方式搭建 一主两从 类型的kubernetes集群

（一）主机规划

主机名	IP地址	操作系统	配置
k8s-master	192.168.126.100	CentOS Linux release 7.4.1708 (Core)	2U2G 20G 硬盘
k8s-node1	192.168.126.101	CentOS Linux release 7.4.1708 (Core)	2U2G 20G 硬盘
k8s-node2	192.168.126.102	CentOS Linux release 7.4.1708 (Core)	2U2G 20G 硬盘

（二）环境初始化

环境初始化步骤须在三台主机上均执行

1. 主机名解析

为了方便后面集群节点间的直接调用，需要配置主机名解析，企业中推荐使用内部 DNS 服务器

# 三台主机上均做好主机名解析

vim  /etc/hosts

192.168.126.100 k8s-master
192.168.126.101 k8s-node01
192.168.126.102 k8s-node02

2. 时间同步

kubernetes要求集群中的节点时间必须精确一致

# 三台主机上均做好时间同步
yum install -y ntpdate
ntpdate ntp1.aliyun.com
hwclock -w

3. 关闭防火墙和selinux

# 三台主机上均执行
systemctl stop firewalld && systemctl disable firewalld
setenforce 0 && sed -i 's/SELINUX=enforcing/SELINUX=disabled/' /etc/selinux/config

4. 禁用swap分区

swap分区指的是虚拟内存分区，它的作用是在物理内存使用完之后，将磁盘空间虚拟成内存来使用。kubernetes集群中如果启用swap设备会对系统的性能产生非常负面的影响，所以官方要求需要禁用该功能。如果因为某些原因不能关闭swap分区，需要在安装过程中通过明确的参数进行配置说明

# 三台主机上均执行
swapoff -a
sed -Ei ' s/(.*)(swap)(.*)/#\1\2\3/ ' /etc/fstab

5. 修改linux内核参数

修改linux的内核参数，添加网桥过滤和地址转发功能

# 三台主机上均执行
# 创建/etc/sysctl.d/kubernetes.conf文件并向该文件中添加如下配置: 

cat > /etc/sysctl.d/kubernetes.conf << EOF
net.bridge.bridge-nf-call-ip6tables = 1 
net.bridge.bridge-nf-call-iptables = 1 
net.ipv4.ip_forward = 1
EOF
# 重新加载配置
sysctl -p
# 加载网桥过滤模块
modprobe br_netfilter
# 查看网桥过滤模块是否加载成功
lsmod | grep br_netfilter

6. 配置ipvs功能

在kubernetes中service有两种代理模型，一种是基于iptables的，一种是基于ipvs的。两者比较的话，ipvs的性能明显要高一些，但是如果要使用它，需要手动载入ipvs模块

# 三台主机上均执行
#  安装ipset和ipvsadm
yum install ipset ipvsadmin ipvsadm -y
#  添加需要加载的模块写入脚本文件 
cat > /etc/sysconfig/modules/ipvs.modules << EOF
#!/bin/bash 
modprobe -- ip_vs
modprobe -- ip_vs_rr
modprobe -- ip_vs_wrr
modprobe -- ip_vs_sh
modprobe -- nf_conntrack_ipv4
EOF
# 为脚本文件添加执行权限
chmod +x /etc/sysconfig/modules/ipvs.modules
# 执行脚本文件
sh /etc/sysconfig/modules/ipvs.modules
# 查看对应的模块是否加载成功
lsmod | grep -e ip_vs -e nf_conntrack_ipv4

7. 重启

# 三台主机上均执行
reboot

8. 查看以上所有配置是否生效

# 三台主机上均执行
systemctl status firewalld # 查看防火墙
getenforce   # 查看selinux
free -m   # 查看selinux
lsmod | grep br_netfilter    # 查看网桥过滤模块
lsmod | grep -e ip_vs -e nf_conntrack_ipv4  # 查看 ipvs 模块

如果都正确，表示三台主机环境初始化均成功

（三）环境搭建

环境搭建步骤须在三台主机上均执行

每台主机上安装 docker （18.06.3），kubeadm（1.17.4），kubelet（1.17.4），kubectl（1.17.4）程序

安装 docker

# 1 切换镜像源 
wget https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo -O /etc/yum.repos.d/docker-ce.repo 
 
# 2 查看当前镜像源中支持的docker版本 
yum list docker-ce --showduplicates
 
# 3 安装特定版本的docker-ce
# 必须指定--setopt=obsoletes=0，否则yum会自动安装更高版本
yum install --setopt=obsoletes=0 docker-ce-18.06.3.ce-3.el7 -y
 
# 4 添加一个配置文件 
# Docker在默认情况下使用的Cgroup Driver为cgroupfs，而kubernetes推荐使用systemd来代替cgroupfs;第二行配置第三方docker仓库
mkdir - p /etc/docker 
cat > /etc/docker/daemon.json <<EOF 
{
	"registry-mirrors":["http://f1361db2.m.daocloud.io"],
	"exec-opts":["native.cgroupdriver=systemd"]

}
EOF
 
# 5 启动docker，并设置为开机自启
systemctl restart docker && systemctl enable docker 
 
# 6 检查docker状态和版本 
docker version

（四）安装 kubernetes 组件

安装 kubernetes 组件步骤须在三台主机上均执行

# 由于kubernetes的镜像源在国外，速度比较慢，这里切换成国内的镜像源 
# 创建/etc/yum.repos.d/kubernetes.repo文件并添加如下内容：
cat > /etc/yum.repos.d/kubernetes.repo << EOF
[kubernetes] 
name=Kubernetes 
baseurl=http://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64 
enabled=1 
gpgcheck=0 
repo_gpgcheck=0 
gpgkey=http://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg 
       http://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg 
EOF
 
# 安装kubeadm、kubelet和kubectl 
yum install --setopt=obsoletes=0 kubeadm-1.17.4-0 kubelet-1.17.4-0 kubectl-1.17.4-0 -y
 
# 配置kubelet的cgroup 
# 编辑/etc/sysconfig/kubelet，添加下面的配置 
cat > /etc/sysconfig/kubelet << EOF
KUBELET_CGROUP_ARGS="--cgroup-driver=systemd" 
KUBE_PROXY_MODE="ipvs" 
EOF
 
# 4 设置kubelet开机自启 
systemctl enable kubelet

（五）准备集群镜像

以下步骤是在 master 节点进行，如果可以访问到 k8s.gcr.io ，那么就可以直接跳过该步骤

# 这种方法是先下载镜像，由于默认拉取镜像地址k8s.gcr.io国内无法访问，
# 所以在安装kubernetes集群之前，提前准备好集群需要的镜像，所需镜像可以通过下面命令查看 
kubeadm config images list # 因为该版本较低，可能无法查看到

下载镜像