Kubernetes集群搭建

一、概述

Kubernetes是一个Google开源的全新的分布式容器集群管理系统，由于从第一个字母到字母s中间有8个字母，所以简称K8s。

二、准备

ip	角色	内存
192.168.187.130	master	4G
192.168.187.131	node	2G
192.168.187.132	node	2G

小提示： 设置静态ip的步骤，请看https://blog.csdn.net/u010132847/article/details/135991017?spm=1001.2014.3001.5501
说明：本次是在Wndow10系统上安装，CentOS是7.9版本。

三、安装

3.1、共性操作

该操作要求每个节点均需执行的操作，包括修改hosts、时间同步、禁用firewalld、禁用selinux、禁用swap、网桥设置和安装K8s等。

3.1.1、修改hosts

$: cat >> /etc/hosts <<EOF
 192.168.187.130 master
 192.168.187.131 node1
 192.168.187.132 node2
 EOF

3.1.2、时间同步（本次使用chrony方式同步）

$: yum -y install chrony #安装chrony
$: systemctl enable --now chronyd #启动chrony服务
$: vim /etc/chrony.conf #修改配置文件，内容看说明
$: systemctl restart chronyd #重启chrony
$: hwclock -w  #硬件时间向系统时间同步
$: date #查看时间是否正确

说明：编辑文件chrony.conf时，注释已有的server开头的配置，新增“server npt.aliyun.com iburst”.

​ chrony.conf文件原来内容：

​ chrony.conf文件修改后的内容：

3.1.3、禁用firewalld

$: systemctl stop firewalld #停止firewalld服务
$: systemctl disable firewalld #开机禁止启动

3.1.4、禁用selinux

$: setenforce 0  #临时关闭
$: vim /etc/selinux/config #永久关闭
...
SELINUX=disabled #值由enforcing改成disabled
...

小提示：
​ 1、操作/etc/selinux/config时，将“SELINUX=enforcing”改成“SELINUX=disabled”,并且需要重启后才会生效，如下图。

3.1.5、禁用swap

$:swapoff -a #临时关闭
$:vim /etc/fstab #永久关闭
...
#/dev/mapper/centos-swap swap  swap    defaults        0 0  ##注释掉这一行
...

说明：默认情况下，K8s为了追求高性能，不建议使用交换分区，为此它要求每个节点禁用swap，否则各个节点中的kubelet无法运行。

3.1.6、网桥设置

$: cat > /etc/sysctl.d/kubernetes.conf << EOF
net.bridge.bridge-nf-call-ip6tables=1
net.bridge.bridge-nf-call-iptables=1
net.ipv4.ip_forward=1
EOF
$: systemctl --system  #将设置生效

3.1.7、安装docker

1)安装

$:yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
$:yum makecache fast
$:yum -y install docker-ce
$:systemctl enable docker && systemctl start docker
$:docker -v

小提示：

​ 1、如果执行“yum-config-manager”出现“yum-config-manager: command not found”时，则需要安装，命令如“yum -y install yum-utils”。

注意：yum -y install docker只能安装docker-1.13.x老版本的docker, 2017年后版本有了ce(社区版本)和EE(企业版本)，所以新版本使用yum -y install docker-ce。

2）设置镜像地址

为了快速让docker从第三方公共镜像仓库中下载镜像，我们改成阿里云。默认是从国外的网址下载比较慢，我们改成从阿里云下载, 设置daemon.json:

$: mkdir -p /etc/docker
$: tee /etc/docker/daemon.json <<-'EOF'
{
	"exec-opts":["native.cgroupdriver=systemd"],
	"registry-mirrors":["https://ha65u7j9.mirror.aliyuns.com"]
}
EOF
$:systemctl daemon-reload && systemctl restart docker #重新加载并重启docker

说明：在某个节点(master节点或node节点)中运行cat /var/lib/kubelet/config.yaml|grep group命令可以看出kubelet默认cgroup驱动为systemd, 而docker默认驱动为cgroupfs，但k8s官网要求docker和kubelet服务中的cgroup驱动必须一致，为此设置daemon.json时添加了"exec-opts":[“native.cgroupdriver=systemd”]配置。

3.1.8、安装K8S

1. 镜像

$: cat > /etc/yum.repos.d/kubernetes.repo << EOF
[kubernetes]
name=Kubernetes
baseurl=http://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64
enabled=1
gpgcheck=0
repo_gpgcheck=0
gpgkey=http://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg
	   http://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF
$: cat /etc/yum.repos.d/kubernetes.repo #查看文件内容是否成功写入

2. 安装

$:yum install -y kubeadm-1.23.17 kubectl-1.23.17 kubelet-1.23.17
$:systemctl enable kubelet #启动kubelet
$:journalctl -xefu kubelet #查看kubelet运行日志

kubelet运行日志如下：

3.2、异性操作

K8s环境搭建过程中有些命令需要在不同角色的节点执行，异性操作罗列了不同角色计算机执行的命令。

3.2.1、master操作

1. 设置hostname:

$: hostnamectl set-hostname master

2）初始化Kubernetes, 保存该命令输出的一个join命令， 该join命令需要在node角色的节点上执行。

$: kubeadm init \
--apiserver-advertise-address=192.168.187.130 \
--image-repository registry.aliyuncs.com/google_containers \
--kubernetes-version v1.23.17 \
--service-cidr=10.96.0.0/12 \
--pod-network-cidr=10.244.0.0/16 \
--ignore-preflight-errors=all

说明：

apiserver-advertise-address: 集群通告地址(master机器ip)
image-repository: 由于默认拉取镜像地址k8s.gcr.io国内无法访问，这里指定阿里云镜像仓库地址
kubernetes-version: k8s版本，与上面安装的一致
service-cidr: 集群内部虚拟网络，pod统一访问入口
pot-network-cidr: pod网络，与下面部署的CNI网络组件yami中保持一致

提示：执行完命令后，最后的“kubeadm join …”内容需要记下来，后面配置node节点时用到。

3）环境配置

如果是普通用户执行如下：

$: mkdir -p $HOME/.kube
$: sudo cp -i /etc/kubernetes/admin.conf $Home/.kube/config
$: sudo chown $(id -u):$(id -g) $HOME/.kube/config

如果是root用户执行如下：

$: echo "export KUBECONFIG=/etc/kubernetes/admin.conf" >> /etc/profile
$: source /etc/profile

如果不配置环境变量，则执行时会提示如下错误：

[root@master ~]# kubectl get node
The connection to the server localhost:8080 was refused - did you specify the right host or port?

4）配置flannel

flannel([ˈflænl])和calico([ˈkælɪkoʊ])都是用于k8s节点之间容器网络通信的一个k8s组件，flannel可以为不同node节点的分配不同的子网，实现容器间的跨机通信，从而实现整个kubernetes层级通信。

1. 下载：

$: cd /opt
$: wget https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml

小提示：如果一直下载不下来，可以在/etc/hosts文件中添加一条“199.232.68.133 raw.githubusercontent.com”再下载(配置后仍让下载不下来，多执行几次可以成功)。

2. 上传

$: kubectl apply -f /opt/kube-flannel.yml

3.2.2、node操作

1）设置hostname

$:hostnamectl set-hostname node[n]

每个node节点都要执行上面命令，n的值和/etc/hosts文件丛节点相一致。

2）执行kubeadm join命令，该命令是master节点初始化k8s时生成的(在步骤3.2.1的第二步生成的)。

$: kubeadm join 192.168.187.130:6443 --token l8z2iz.yoh8hzigfnlkea4t \
	--discovery-token-ca-cert-hash sha256:e7386bef149c10542bd2a442079587587175918459501cbc71815db1fb6998c4

提示：出现如下表示节点已经成功加入集群中。

注意：上面命令中token默认有效时间为24小时，过期后可以在master节点执行kubeadm token create --print-join-command重新创建token

3）环境配置

$: echo "export KUBECONFIG=/etc/kubernetes/kubelet.conf" >> /etc/profile
$: source /etc/profile

3.2.3、查看节点状态

$:kubectl get node

3.2.4、问题

描述：如果执行kubectl get node命令时发现有些节点一直处于NotReady状态，在这些节点执行journalct -xefu kubelet命令则提示如下错误：

原因：故障节点没有自动生成/etc/cni/net.d/10-flannel.conflist。

方案：将正常节点上/etc/cni/net.d/10-flannel.conflist拷贝到故障节点对应目录。