（二）K8s学习笔记——使用Kubeadm搭建K8s集群（单master节点）

一、准备工作

1.准备服务器

搭建K8s集群最好准备多台配置稍高点的机器，我这里使用谷歌云创建了三台2核4G的服务器用于实验，当然，也可以使用虚拟机进行试验。

服务器中所使用的的系统和软件版本如下：

名称	版本
操作系统	CentOS7
docker	20.10.6（默认最新）
Kubeadm	1.21.1 （默认最新）
Kubelet	1.21.1（默认最新）

其中1台作为master节点，其他作为node节点。此时三台机器间是可以互相访问的。各节点及ip如下：

节点	ip
master1	34.80.118.209
node1	35.189.182.143
node2	104.199.196.26

2.所有服务器初始化

# *为可选项
# 1.关闭防火墙
systemctl stop firewalld
systemctl disable firewalld

# 2.关闭selinux功能
sed -i 's/enforcing/disabled/' /etc/selinux/config  # 永久关闭
setenforce 0  # 临时关闭

# 3.关闭swap
sed -ri 's/.*swap.*/#&/' /etc/fstab    # 永久关闭
swapoff -a  # 临时关闭

# *4.根据规划设置主机名，我这里就使用k8s-master、k8s-node1、k8s-node2
hostnamectl set-hostname <hostname>

# 5.在master添加hosts
cat >> /etc/hosts << EOF
34.80.118.209 k8s-master
35.189.182.143 k8s-node1
104.199.196.26 k8s-node2
EOF

# 6.将桥接的IPv4流量传递到iptables的链
cat > /etc/sysctl.d/k8s.conf << EOF
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
EOF
sysctl --system  # 生效

# 7.时间同步，先安装包。我这里使用阿里云的时间服务器
yum install ntpdate -y
ntpdate ntp1.aliyun.com

# *8.安装wget
yum install wget

二、开始搭建K8s集群

1.在所有机器上安装Docker、Kubeadm、Kubelet、Kubectl

1.1 安装Docker

（1）安装

# 添加docker仓库源，国内可以使用阿里云
wget https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo -O /etc/yum.repos.d/docker-ce.repo

# 我这里使用的谷歌云服务器，所以从国外镜像点下载速度较快，所以按照docker官方提示使用官方源：
yum install -y yum-utils
yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo

# 更新镜像源
yum clean all && yum makecache && yum -y update

# 查看docker-ce版本
yum list docker-ce --showduplicates | sort -r

# 安装docker，不指定版本则安装最新版，我这里使用最新版本吧
yum install docker-ce-<version> docker-ce-cli-<version> containerd.io

# 直接安装最新版：
yum install docker-ce docker-ce-cli containerd.io

# 启动docker并设置开机启动
systemctl enable docker && systemctl start docker

# 查看docker版本
docker --version
# 我这里自动安装的最新的20.10.6版本
Docker version 20.10.6, build 370c289

# 查看一下docker进程是否启动
ps aux |grep docker

（2）如果使用国内的服务器，最好配置一下阿里云docker镜像源:

# 阿里云docker镜像源
cat > /etc/docker/daemon.json << EOF
{
  "registry-mirrors": ["https://b9pmyelo.mirror.aliyuncs.com"]
}
EOF

1.2 安装Kubelet、Kubeadm、kubectl

（1）配置一下kubernetes源，我这里就不用国内的源了，使用k8s官方推荐的源：

# 阿里云k8s源
cat > /etc/yum.repos.d/kubernetes.repo << EOF
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64
enabled=1
gpgcheck=0
repo_gpgcheck=0
gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF

# k8s官方源
cat <<EOF > /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=https://packages.cloud.google.com/yum/repos/kubernetes-el7-x86_64
enabled=1
gpgcheck=1
repo_gpgcheck=1
gpgkey=https://packages.cloud.google.com/yum/doc/yum-key.gpg https://packages.cloud.google.com/yum/doc/rpm-package-key.gpg
EOF

（2）开始安装Kubelet、kubeadm、kubectl

yum install -y kubelet kubeadm kubectl

# 设为kubelet开机启动
systemctl enable kubelet

2. K8s master节点初始化

（1）将所有节点的docker driver指定为systemcmd。如果不进行，会报k8s部署集群踩坑集锦中的错误2。

查看一下：

docker info |grep Cgroup

打开docker配置文件：

vim /usr/lib/systemd/system/docker.service

这里改一下，加在-H之前：

改为：

ExecStart=/usr/bin/dockerd --exec-opt native.cgroupdriver=systemd

然后重启docker：

systemctl daemon-reload
# 再次查看
docker info | grep Cgroup

如下：

（2）在master节点执行以下命令，ip为master的外网ip，版本号为kubelet版本号，最后两个参数不冲突即可。

kubeadm init \
  --kubernetes-version v1.21.1 \
  --service-cidr=10.96.0.0/16 \
  --pod-network-cidr=10.244.0.0/16

注意：国内需要指定镜像源，但是我没有尝试，可能会出错，具体见下面【注】踩坑集锦：

--image-repository registry.aliyuncs.com/google_containers

【注】这里踩了一个坑：不能指定 --apiserver-advertise-address=34.80.118.209 \这个字段。如果指定了这个字段，导致出现问题：见k8s部署集群踩坑集锦。

如果执行init失败，下次执行前需要重置一下：

# 每次执行init前先重置一下kubeadm，相当于对失败的初始化做一次清理
kubeadm reset

查看状态：

systemctl status kubelet

成功：

（3）按照上图蓝框中的提示，使用kubectl工具：

mkdir -p $HOME/.kube
cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
chown $(id -u):$(id -g) $HOME/.kube/config

# 查看一下节点
kubectl get nodes

（4）把最后的加入集群指令复制下来，用于后面node节点加入集群使用：

kubeadm join 10.140.0.18:6443 --token lqob2i.7nzio8qd53dglufo \
        --discovery-token-ca-cert-hash sha256:917eb80e067276066fae71fe80b4801fe0fbd53379ae04729280ac2f8140ba9a

# 默认token有效期一天，到期后需要使用如下命令创建新token
kubeadm token create --print-join-command

（4）安装完后，执行一下docker images看一下master节点的当前已有的镜像如下：

【注】最后，备注一下k8s的卸载方法，假设安装完k8s后现有的docker images如下：

kubeadm reset
# 卸载
yum erase -y kubelet kubectl kubeadm kubernetes-cni

# 删除的时候注意版本号和docker images里的版本一样
docker rmi -f k8s.gcr.io/kube-apiserver:v1.19.0
docker rmi -f k8s.gcr.io/kube-controller-manager:v1.19.0
docker rmi -f k8s.gcr.io/kube-scheduler:v1.19.0
docker rmi -f k8s.gcr.io/kube-proxy:v1.19.0
docker rmi -f k8s.gcr.io/pause:3.2
docker rmi -f k8s.gcr.io/etcd:3.4.9-1
docker rmi -f k8s.gcr.io/coredns:1.7.0

3.向集群中添加node节点

（1）在所有node节点中，执行以下命令加入集群：

kubeadm join 10.140.0.18:6443 --token lqob2i.7nzio8qd53dglufo \
        --discovery-token-ca-cert-hash sha256:917eb80e067276066fae71fec0b4801fe8fbd93279ae04729280ac2f8940ba9a

如下，完成：

（2）在master节点中查看：

kubectl get nodes

可以看到所有加入集群的节点。此时都是NotReady状态。

（3）配置CNI网络插件，显示如下：

# 安装网络插件
kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml

（4）查看pods的运行情况

# 等待一会，查看当前pods的运行情况
kubectl get pods -n kube-system

显示如下：

此时再次执行，状态显示为Ready：

kubectl get nodes

4.使用nginx测试k8s集群

（1）安装nginx

# 安装nginx
kubectl create deployment nginx --image=nginx
# 对外暴露端口
kubectl expose deployment nginx --port=80 --type=NodePort

（2）查看pod

# 查看pod
kubectl get pod,svc

显示如下：

（3）此时通过任意一个节点的ip+端口号31699即可访问到nginx。搭建集群成功。