Kubeadm方式搭建单master多node的K8S集群(K8S版本：v1.20.1)

kubeadm是官方社区推出的一个用于快速部署kubernetes集群的工具。
这个工具能通过两条指令完成一个kubernetes集群的部署：

# 创建一个 Master 节点
kubeadm init

# 将一个 Node 节点加入到当前集群中
kubeadm join <Master节点的IP和端口 >

Kubeadm方式搭建K8S集群

使用kubeadm方式搭建K8s集群主要分为以下几步

• 准备三台虚拟机，同时安装操作系统CentOS 7.x
• 对三个安装之后的操作系统进行初始化操作
• 在三个节点安装 docker kubelet kubeadm kubectl
• 在master节点执行kubeadm init命令初始化
• 在node节点上执行 kubeadm join命令，把node节点添加到当前集群
• 配置CNI网络插件，用于节点之间的连通【失败了可以多试几次】
• 通过拉取一个nginx进行测试，能否进行外网测试

安装要求

在开始之前，部署Kubernetes集群机器需要满足以下几个条件：

• 一台或多台机器，操作系统 CentOS7.x-86_x64
• 硬件配置：2GB或更多RAM，2个CPU或更多CPU，硬盘30GB或更多【注意master需要两核】 (此处提前把内存和CPU设置好，否则后面一定会出现问题，到时候还需要重新设置)
• 可以访问外网，需要拉取镜像，如果服务器不能上网，需要提前下载镜像并导入节点
• 禁止swap分区

准备环境

角色	自己主机IP地址
master	192.168.56.129
node1	192.168.56.130
node2	192.168.56.131

然后开始在每台机器上执行下面的命令

# 关闭防火墙
systemctl stop firewalld
systemctl disable firewalld

# 关闭selinux
# 永久关闭
sed -i 's/enforcing/disabled/' /etc/selinux/config  
# 临时关闭
setenforce 0  

# 关闭swap
# 临时
swapoff -a 
# 永久关闭
sed -ri 's/.*swap.*/#&/' /etc/fstab

# 根据规划设置主机名【master节点上操作】
hostnamectl set-hostname k8smaster
# 根据规划设置主机名【node1节点操作】
hostnamectl set-hostname k8snode1
# 根据规划设置主机名【node2节点操作】
hostnamectl set-hostname k8snode2

# 在master添加hosts
cat >> /etc/hosts << EOF
192.168.56.129 k8smaster
192.168.56.130 k8snode1
192.168.56.131 k8snode2
EOF

# 将桥接的IPv4流量传递到iptables的链
cat > /etc/sysctl.d/k8s.conf << EOF
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
EOF
# 生效
sysctl --system  

# 时间同步
yum install ntpdate -y
ntpdate time.windows.com

安装Docker/kubeadm/kubelet

所有节点安装Docker/kubeadm/kubelet ，Kubernetes默认CRI（容器运行时）为Docker，因此先安装Docker

安装Docker

首先配置一下Docker的阿里yum源

cat >/etc/yum.repos.d/docker.repo<<EOF
[docker-ce-edge]
name=Docker CE Edge - \$basearch
baseurl=https://mirrors.aliyun.com/docker-ce/linux/centos/7/\$basearch/edge
enabled=1
gpgcheck=1
gpgkey=https://mirrors.aliyun.com/docker-ce/linux/centos/gpg
EOF

然后yum方式安装docker

# yum安装
yum -y install docker-ce

# 查看docker版本
docker --version  

# 启动docker
systemctl enable docker
systemctl start docker

配置docker的镜像源

cat >> /etc/docker/daemon.json << EOF
{
  "registry-mirrors": ["https://b9pmyelo.mirror.aliyuncs.com"]
}
EOF

然后重启docker

systemctl restart docker

添加kubernetes软件源

然后我们还需要配置一下yum的k8s软件源

cat > /etc/yum.repos.d/kubernetes.repo << EOF
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64
enabled=1
gpgcheck=0
repo_gpgcheck=0
gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF

安装kubeadm，kubelet和kubectl

您需要在每台机器上安装以下的软件包：

• kubeadm：用来初始化集群的指令。
• kubelet：在集群中的每个节点上用来启动 pod 和容器等。
• kubectl：用来与集群通信的命令行工具。

kubeadm 不能 帮您安装或者管理 kubelet 或 kubectl，所以您需要确保它们与通过 kubeadm 安装的控制平面的版本相匹配。如果不这样做，则存在发生版本偏差的风险，可能会导致一些预料之外的错误和问题。

由于版本更新频繁，这里指定版本号部署：

# 安装kubelet、kubeadm、kubectl，同时指定版本
yum install -y kubelet-1.20.1 kubeadm-1.20.1 kubectl-1.20.1
# 设置开机启动
systemctl enable kubelet

部署Kubernetes Master【master节点】

在master节点上执行：

[root@master ningan]# kubeadm init --apiserver-advertise-address=192.168.56.129 --image-repository registry.aliyuncs.com/google_containers --kubernetes-version v1.20.1 --service-cidr=10.96.0.0/12  --pod-network-cidr=10.244.0.0/16

由于默认拉取镜像地址k8s.gcr.io国内无法访问，这里指定阿里云镜像仓库地址，【执行上述命令会比较慢，因为后台其实已经在拉取镜像了】

修改CPU核数为：2
修改内存大小为：2G(2048)
重启(不重启好像也可以。。。。)

重新执行上述命令：当我们出现下面的情况时，表示kubernetes的镜像已经安装成功

将下面这个token保存好，后面将node节点加入到master节点时需要用到这个token。

kubeadm join 192.168.56.129:6443 --token sprzyx.p59fqux5z4vjeymz \
    --discovery-token-ca-cert-hash sha256:260b9b85314b1c986e137081decbc5bc42f4e52ce84a4abe98c8cb63da697789

kubectl认证

集群主节点启动之后，我们需要使用kubectl来管理集群，在开始前，我们需要设置其配置文件进行认证。

使用kubectl工具 【master节点操作】

mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config

执行完成后，我们使用下面命令，查看我们正在运行的节点

kubectl get nodes

能够看到，目前有一个master节点已经运行了，但是还处于未准备状态

下面我们还需要在Node节点执行其它的命令，将node1和node2加入到我们的master节点上

加入node节点

下面我们需要到 node1 和 node2服务器，执行下面的代码向集群添加新节点

执行在kubeadm init输出的kubeadm join命令：

注意，以下的命令是在master初始化完成后，每个人的都不一样！！！需要复制自己生成的

kubeadm join 192.168.56.129:6443 --token sprzyx.p59fqux5z4vjeymz \
    --discovery-token-ca-cert-hash sha256:260b9b85314b1c986e137081decbc5bc42f4e52ce84a4abe98c8cb63da697789

默认token有效期为24小时，当过期之后，该token就不可用了。这时就需要重新创建token，操作如下：

kubeadm token create --print-join-command

当我们把两个节点都加入进来后，我们就可以去Master节点 执行下面命令查看情况

kubectl get node

复制admin.conf并且设置配置

为了在工作节点上也能使用kubectl，而kubectl命令需要使用kubernetes-admin来运行，因此我们需要将主节点中的【/etc/kubernetes/admin.conf】文件拷贝到工作节点相同目录下，这里推荐使用scp进行复制，语法如下所示：

#复制admin.conf，请在主节点服务器上执行此命令

scp /etc/kubernetes/admin.conf {当前工作节点IP}:/etc/kubernetes/admin.conf

具体执行内容如下：

scp /etc/kubernetes/admin.conf 192.168.56.130:/etc/kubernetes/admin.conf

scp /etc/kubernetes/admin.conf 192.168.56.131:/etc/kubernetes/admin.conf

复制时需要输入相关节点的root账户的密码：

复制完成之后，我们就可以设置kubectl的配置文件了，以便我们在工作节点上也可以使用kubectl来管理k8s集群：

#设置kubeconfig文件
export KUBECONFIG=/etc/kubernetes/admin.conf
echo "export KUBECONFIG=/etc/kubernetes/admin.conf" >> ~/.bash_profile

至此，k8s工作节点的部署初步完成。接下来，我们需要以同样的方式将其他工作节点加入到集群之中。

查看集群节点状态
集群创建完成之后，我们可以输入以下命令来查看当前节点状态：

kubectl get nodes

注意：此处为ready是因为我先执行了下面的部署CNI网络插件，又返回来执行的这个步骤。

至此，node节点也可以使用kubectl了！

部署CNI网络插件

flannel

上面的状态还是NotReady，下面我们需要网络插件，来进行联网访问

# 下载网络插件配置
wget https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml

# 添加
kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml
# 命令“kubectl apply”可以用于创建和更新资源，以上命令使用了网络路径的yaml来进行创建flanner   也就是说，可以不下载到本地，直接利用网络路径进行apply

# 查看状态 【kube-system是k8s中的最小单元】
kubectl get pods -n kube-system

运行完成后，我们查看状态可以发现，已经变成了Ready状态了

如果上述操作完成后，还存在某个节点处于NotReady状态，可以在Master将该节点删除

# master节点将该节点删除
kubectl delete node k8snode1
 
# 然后到k8snode1节点进行重置
 kubeadm reset
# 重置完后在加入
kubeadm join 192.168.56.129:6443 --token sprzyx.p59fqux5z4vjeymz \
    --discovery-token-ca-cert-hash sha256:260b9b85314b1c986e137081decbc5bc42f4e52ce84a4abe98c8cb63da697789

k8s卸载flannel网络(后续补充，所以地址可能会发生变化)

[kubernetes集群卸载flannel网络](kubernetes集群卸载flannel网络 | Finology 大数据金融)

此场景为，卸载flannel网络，更换为calico网络；

建议：在生产场景中，建议提前规划好k8s的网络，如果中途更换网络插件，产生的影响会比较大；

卸载flannel网络步骤：

#第一步，在master节点删除flannel
kubectl delete -f kube-flannel.yml

#第二步，在node节点清理flannel网络留下的文件
ifconfig cni0 down
ip link delete cni0    # 删除一个设备
ifconfig flannel.1 down
ip link delete flannel.1
rm -rf /var/lib/cni/
rm -f /etc/cni/net.d/*
注：执行完上面的操作，重启kubelet
systemctl daemon-reload
systemctl restart kubelet


#第三步，应用calico相关的yaml文件

总结：此种方式也适用于flannel网络出现问题，要重新安装flannel时；

# 如果有必要的话，需要删除路由表
ip route del 路由表中的信息

calico(后续补充，所以地址可能会发生变化)

部署插件之前

部署插件

kubectl apply -f https://docs.projectcalico.org/manifests/calico.yaml

部署插件之后，多等一会！

已经是ready了！

测试kubernetes集群：部署应用

我们都知道K8S是容器化技术，它可以联网去下载镜像，用容器的方式进行启动

在Kubernetes集群中创建一个pod，验证是否正常运行：

# 下载nginx 【会联网拉取nginx镜像】
kubectl create deployment nginx --image=nginx
# 查看状态
kubectl get pod

如果我们出现Running状态的时候，表示已经成功运行了

下面我们就需要将端口暴露出去，让其它外界能够访问

# 暴露端口
kubectl expose deployment nginx --port=80 --type=NodePort
# 查看一下对外的端口
kubectl get pod,svc

能够看到，我们已经成功暴露了 80端口 到 30380上

我们到我们的宿主机浏览器上，访问如下地址：

http://192.168.56.129:30380
http://192.168.56.130:30380
http://192.168.56.131:30380

发现我们的nginx已经成功启动了

到这里为止，我们就搭建了一个单master的k8s集群。成功！

---

总结：v1.20.1搭建起来比较简单，没有出现那么多的问题。之前用v1.18.0搭建的时候，出现了很多问题，汇总如下：[错误解决]centos中使用kubeadm方式搭建一个单master的K8S集群，需要的话可以参考！