《Kubernetes部署篇：基于Kylin V10+ARM64架构CPU+containerd一键离线部署容器版K8S1.26.15高可用集群》

总结：整理不易，如果对你有帮助，可否点赞关注一下？

更多详细内容请参考：企业级K8s集群运维实战

---

一、部署背景

由于业务系统的特殊性，我们需要针对不同的客户环境部署基于containerd容器版 K8S 1.26.15集群，由于大都数用户都是专网环境，无法使用外网，为了更便捷，高效的部署，针对业务系统的特性，我这边编写了一键离线部署容器版K8S集群自动化工具。

说明：如果有兴趣，可以从工具下载中获取下载链接，此工具可帮助你快速了解一个自动化部署工具是如何编写的？

---

二、工具下载

基于Kylin V10+ARM64架构CPU+containerd一键离线部署容器版K8S1.26.15高可用集群工具

---

三、工具介绍

实现功能如下：

1、当前一键部署工具仅支持 ARM64架构的 Kylin Linux Advanced Server V10操作系统。
2、支持 单机、一主多从、三主多从等部署架构 K8S 1.26.15容器版（containerd）离线集群，且 证书有效期为99年。
3、支持一键部署、集群检查、集群移除等功能。
4、支持一主多从、三主多从部署架构的worker节点 一键扩容和移除。

说明：如果想要当前此工具支持其它操作系统，只需要修改basic-env/init_env.sh脚本，根据当当前操作系统修改成符合当前操作系统的命令。其它的containerd、kubeadm、kubectl、kubelet、nginx都是采用二进制安装方式，是通用的。

---

四、工具使用

说明：由于篇幅有限，这里以三主多从架构为例，像大家介绍K8S1.26.15高可用集群部署步骤！

4.1、部署前

1、更新libseccomp（部署前）

说明：以下操作所有K8S集群主机都需执行。

方法一：

[root@ecs-c391-0003 kubernete-tools]# rpm -qa | grep libseccomp
libseccomp-2.4.1-3.ky10.aarch64
[root@ecs-c391-0003 kubernete-tools]# rpm -e `rpm -qa | grep libseccomp` --nodeps
[root@ecs-c391-0003 kubernete-tools]# cp libseccomp.so.2 /usr/lib64/

部署包包含libseccomp.so.2文件，你也可在安装containerd容器引擎中手动编译安装，如下图所示：

方法二：

rpm -e `rpm -qa | grep libseccomp` --nodeps
yum install gperf -y
wget https://github.com/seccomp/libseccomp/releases/download/v2.5.4/libseccomp-2.5.4.tar.gz
tar axf libseccomp-2.5.4.tar.gz && cd libseccomp-2.5.4
./configure && make && make install
ln -s /usr/local/lib/libseccomp.so.2 /usr/lib64/libseccomp.so.2

总结： 经过多次试验，安装k8s1.26.15版本时，如果libseccomp版本为2.4.1，则会报错unable to retrieve OCI runtime error。

---

2、查看帮助命令

如下图所示：

部署命令可参考如下：

a、单机部署

 ./kubernetes_tools.sh deploy single-node

b、一主多从部署

# 1、master节点部署
./kubernetes_tools.sh deploy master

# 2、worker节点部署
./kubernetes_tools.sh deploy node --join-as-worker

c、三主多从部署

# 1、master节点部署
./kubernetes_tools.sh deploy master
./kubernetes_tools.sh deploy node --join-as-master
./kubernetes_tools.sh deploy node --join-as-master

# 2、worker节点部署
./kubernetes_tools.sh deploy node --join-as-worker

---

4.2、部署中

2、编辑变量文件

[root@ecs-c391-0003 kubernete-tools]# cp cluster.conf.tpl cluster.conf
[root@ecs-c391-0003 kubernete-tools]# vim cluster.conf

如下图所示：

# 适用模式：支持一主多从集群模式和三主多从集群模式
#   1.一主多从: API_SERVER_HOST_01、API_SERVER_HOST_02、API_SERVER_HOST_03 填写相同的IP地址
#   2.三主多从: API_SERVER_HOST_01、API_SERVER_HOST_02、API_SERVER_HOST_03 填写不同的IP地址
#   3.安装顺序为：API_SERVER_HOST_01节点 > API_SERVER_HOST_02节点 > API_SERVER_HOST_03节点
# 三台API SERVER主机IP地址
export API_SERVER_HOST_01="192.168.1.156"
export API_SERVER_HOST_02="192.168.1.171"
export API_SERVER_HOST_03="192.168.1.238"

# Nginx代理IP地址和代理端口,端口不冲突情况下,建议不修改
export API_SERVER_PROXY_HOST="${API_SERVER_HOST_01}"
export API_SERVER_PROXY_PORT="8443"

# 建议填写为当前磁盘最大存储空间目录,如果系统盘空间最大,建议填写为/data,如果挂在盘空间最大,建议填写为挂载目录
export BASE_DIR="/data"

# containerd数据目录,默认不修改
export CONTAINERD_STORAGE_DIR="${BASE_DIR}/basic-data/containerd"

# kubernetes version，默认不修改
export KUBERNETES_VERSION="v1.26.15"

# 当前机器的节点名称，一般为 xxx-cluster-master-01、xx-cluster-node-01
# 部署过程中，此参数会作为主机名，只能由小写字母、数字、.和-组成，且只能以小写字母/数字开头或结尾
export NODE_NAME="k8s-master-156"

# 填写本机地址即可
export APISERVER_ADVERTISE_ADDRESS="192.168.1.156"

# 镜像仓库地址,默认不修改
export IMAGE_REPOSITORY="registry.cn-hangzhou.aliyuncs.com/google_containers"

# 集群Pod网段,可根据实际情况修改
export POD_NETWORK_CIDR="10.48.0.0/16"

# 集群Service网段,可根据实际情况修改
export SERVICE_CIDR="10.96.0.0/16"

# kubernetes node port range,默认不修改
export SERVICE_NODE_POD_RANGE="30000-36000"

---

3、部署 第一个 master节点

[root@ecs-c391-0003 kubernete-tools]# ./kubernetes_tools.sh deploy master

---

4、第一个master节点部署完成后的部署包分别拷贝到其它master节点和worker节点。

[root@k8s-master-156 pkgs]# scp -r kubernete-tools/ root@172.18.1.171:/data/pkgs
[root@k8s-master-156 pkgs]# scp -r kubernete-tools/ root@172.18.1.238:/data/pkgs
[root@k8s-master-156 pkgs]# scp -r kubernete-tools/ root@172.18.1.66:/data/pkgs

---

5、部署第二个master节点

说明：第二个节点的部署只需要修改当前节点的名称，也就是主机名。

# 1、编辑cluster.conf文件
[root@ecs-c391-0001 kubernete-tools]# vim cluster.conf 
# 当前机器的节点名称，一般为 xxx-cluster-master-01、xx-cluster-node-01
# 部署过程中，此参数会作为主机名，只能由小写字母、数字、.和-组成，且只能以小写字母/数字开头或结尾
export NODE_NAME="k8s-master-171"

# 填写本机地址即可
export APISERVER_ADVERTISE_ADDRESS="192.168.1.171"

# 2、以master角色加入kubernetes集群
[root@ecs-c391-0001 kubernete-tools]# ./kubernetes_tools.sh deploy node --join-as-master

---

6、部署 第三个 master节点

说明：第三个节点的部署只需要修改当前节点的名称，也就是主机名。

# 1、编辑cluster.conf文件
[root@ecs-c391-0004 kubernete-tools]# vim cluster.conf
# 当前机器的节点名称，一般为 xxx-cluster-master-01、xx-cluster-node-01
# 部署过程中，此参数会作为主机名，只能由小写字母、数字、.和-组成，且只能以小写字母/数字开头或结尾
export NODE_NAME="k8s-master-238" 

# 填写本机地址即可
export APISERVER_ADVERTISE_ADDRESS="192.168.1.238"

# 2、以master角色加入kubernetes集群
[root@ecs-c391-0004 kubernete-tools]# ./kubernetes_tools.sh deploy node --join-as-master

---

7、部署 worker节点

说明：依次类推，其它节点的部署只需要修改当前节点的名称，也就是主机名。

# 1、编辑cluster.conf文件
[root@ecs-c391-0002 kubernete-tools]# vim cluster.conf 
# 当前机器的节点名称，一般为 xxx-cluster-master-01、xx-cluster-node-01
# 部署过程中，此参数会作为主机名，只能由小写字母、数字、.和-组成，且只能以小写字母/数字开头或结尾
export NODE_NAME="k8s-worker-66"

# 填写本机地址即可
export APISERVER_ADVERTISE_ADDRESS="192.168.1.66"

# 2、以worker角色加入kubernetes集群
[root@ecs-c391-0002 kubernete-tools]# ./kubernetes_tools.sh deploy node --join-as-worker

---

8、重启k8s主机

说明：集群部署完后，无论是master节点还是worker节点均需重启。

reboot

---

4.2、部署后

1、检查集群状态

[root@k8s-master-156 kubernete-tools]# ./kubernetes_tools.sh check

如下图所示：

---

2、检查证书有效时间

[root@k8s-master-156 kubernete-tools]# kubeadm certs  check-expiration

如下图所示：

---

3、集群DNS测试

[root@k8s-master-156 kubernete-tools]# cd test/busybox/
[root@k8s-master-156 busybox]# ./test.sh 

如下图所示：

---

4、集群功能测试

[root@k8s-master-156 kubernete-tools]# cd test/nginx/
[root@k8s-master-156 nginx]# kubectl apply -f nginx.yaml 

如下图所示：

在浏览器上访问Nginx，如下所示：

---

总结：整理不易，如果对你有帮助，可否点赞关注一下？

更多详细内容请参考：企业级K8s集群运维实战

---