《Kubernetes部署篇：基于Kubernetes集群离线部署KubeSphere3.1》

最新推荐文章于 2024-05-28 01:23:01 发布
最新推荐文章于 2024-05-28 01:23:01 发布
阅读量2.3k 收藏 22
点赞数 4
分类专栏： 《企业级K8s集群运维实战》 文章标签： linux nginx docker 运维 ssh
本文为博主原创文章，未经博主允许不得转载。
本文链接：https://blog.csdn.net/m0_37814112/article/details/116668954
版权

文章目录


官网（中国站）：https://kubesphere.com.cn/
GitHub: https://github.com/kubesphere
中文论坛：https://kubesphere.com.cn/forum/

一、背景

当前环境为私有化环境，均无法上外网，且kubernetes集群已经部署，现在需要离线安装kubesphere，所以对于一些需要下载的镜像或文件建议找一台能外网的主机操作，然后上传到内网主机。

二、环境信息

主机名系统版本内核版本IP地址备注
VIP192.168.1.234VIP（不是实际的主机）
lvs-keepalived-01centos7.6.18105.11.16192.168.1.143LVS+Keepalived
lvs-keepalived-02centos7.6.18105.11.16192.168.1.144LVS+Keepalived
k8s-master-149centos7.6.18105.11.16192.168.1.149master节点
k8s-master-155centos7.6.18105.11.16192.168.1.155master节点
k8s-master-160centos7.6.18105.11.16192.168.1.160master节点
k8s-worker-161centos7.6.18105.11.16192.168.1.161worker节点
k8s-worker-162centos7.6.18105.11.16192.168.1.162worker节点
k8s-worker-166centos7.6.18105.11.16192.168.1.166worker节点
k8s-client-170centos7.6.18105.11.16192.168.1.170client节点

说明：共有9台服务器，2台为lvs-keepalived集群，3台master集群，3台work集群，1台client。

三、准备工作

参考官方文档

您可以在虚拟机和裸机上安装 KubeSphere，并同时配置 Kubernetes。另外，只要 Kubernetes 集群满足以下前提条件，那么您也可以在云托管和本地 Kubernetes 集群上部署 KubeSphere。

1、Kubernetes 版本：1.15.x，1.16.x，1.17.x，1.18.x。
2、可用 CPU > 1 核；内存 > 2 G。
3、Kubernetes 集群已配置默认 StorageClass（请使用 kubectl get sc 进行确认）。
4、使用 --cluster-signing-cert-file 和 --cluster-signing-key-file 参数启动集群时，kube-apiserver 将启用 CSR 签名功能。请参见RKE安装问题 。

四、部署harbor镜像仓库

方法一：使用docker镜像仓库
参考官方文档

方法二：使用harbor镜像仓库
部署harbor镜像仓库

4.1、harbor服务端部署

#1、二进制包下载
wget https://github.com/goharbor/harbor/releases/download/v1.10.1/harbor-offline-installer-v1.10.1.tgz
tar axf harbor-offline-installer-v1.10.1.tgz
cd harbor

#2、创建harbor数据目录
mkdir /data/harbor

#3、编辑harbor.yml配置文件
#注释部分
https:
  port: 443
  certificate: /your/certificate/path
  private_key: /your/private/key/path

#修改部分
hostname: server.harbor.com
http:
  port: 8888
harbor_admin_password: admin  #这里设置成默认，建议修改
data_volume: /data/harbor     #可以根据实际情况修改，建议选择磁盘空间最大目录

#4、执行脚本
进入harbor目录
bash install.sh

#5、添加hosts
echo "192.168.1.170 server.harbor.com" >>/etc/hosts

#6、配置仓库镜像地址
sed -e '3a "insecure-registries": ["server.harbor.com:8888"],' -i  /etc/docker/daemon.json
systemctl daemon-reload && systemctl restart docker

#7、login登录验证
docker login server.harbor.com:8888
输入harbor登录账号和密码

4.2、harbor客户端部署

#1、添加hosts
echo "192.168.1.170 server.harbor.com" >>/etc/hosts

#2、配置仓库镜像地址
sed -e '3a "insecure-registries": ["server.harbor.com:8888"],' -i  /etc/docker/daemon.json
systemctl daemon-reload && systemctl restart docker

#3、login登录验证
docker login server.harbor.com:8888
输入harbor登录账号和密码

4.3、harbor仓库创建项目

分别新建两个项目，nfs-client和kubesphere，如下图所示
在这里插入图片描述

五、下载kubesphere镜像包

参考官方文档

5.1、准备安装镜像

当您在离线环境中安装KubeSphere时，需要事先准备一个包含所有必需镜像的镜像包。

# 1、使用以下命令从能够访问互联网的机器上下载镜像清单文件 images-list.txt
curl -L -O https://github.com/kubesphere/ks-installer/releases/download/v3.1.0/images-list.txt
vim images-list.txt
#由于当前环境已经安装了k8s，所以需要删除 ##k8s-images 和在它下面的相关镜像。

# 2、下载 offline-installation-tool.sh
curl -L -O https://github.com/kubesphere/ks-installer/releases/download/v3.1.0/offline-installation-tool.sh
chmod +x offline-installation-tool.sh

# 3、在 offline-installation-tool.sh 中拉取镜像
./offline-installation-tool.sh -s -l images-list.txt -d ./kubesphere-images

说明：您可以根据需要选择拉取的镜像。例如，如果已经有一个 Kubernetes 集群了，您可以在 images-list.text 中删除 ##k8s-images 和在它下面的相关镜像。

5.2、推送镜像至私有仓库

说明：将打包的镜像文件传输至您的本地机器，并运行以下命令把它推送至仓库。

./offline-installation-tool.sh -l images-list.txt -d ./kubesphere-images -r server.harbor.com:8888/kubesphere

如下图所示则表示推送成功。
在这里插入图片描述

六、搭建storageclass

说明：这里采用nfs作为kubernetes集群默认存储。

6.1、安装nfs服务端

说明：建议找一台单独且磁盘容量足够大的服务器作为nfs-server端。

# 1、安装nfs-server端
yum -y install nfs-utils rpcbind
systemctl start nfs && systemctl enable nfs
systemctl start rpcbind && systemctl enable rpcbind

# 3、创建共享目录
mkdir /data/kubesphere/v1
mkdir /data/kubesphere/v2
mkdir /data/kubesphere/v3

# 3、编辑配置文件
vim /etc/exports
/data/kubesphere/v1  192.168.1.0/24(rw,no_root_squash,no_all_squash)
/data/kubesphere/v2  192.168.1.0/24(rw,no_root_squash,no_all_squash)
/data/kubesphere/v3  192.168.1.0/24(rw,no_root_squash,no_all_squash)

# 4、发布
[root@k8s-client kubesphere]# exportfs -arv
exporting 192.168.1.0/24:/data/kubesphere/v1
exporting 192.168.1.0/24:/data/kubesphere/v2
exporting 192.168.1.0/24:/data/kubesphere/v3

# 5、查看
[root@k8s-client ~]# showmount -e 192.168.1.170
Export list for 192.168.1.170:
/data/kubesphere/v1 192.168.1.0/24
/data/kubesphere/v2 192.168.1.0/24
/data/kubesphere/v3 192.168.1.0/24

6.2、安装nfs客户端

说明：当前环境kubernetes集群master节点和worker节点则为nfs客户端。

# 客户端不需要创建共享目录和编辑配置文件，只安装服务就行
yum -y install nfs-utils rpcbind

6.3、安装nfs插件

说明：具有kubectl权限的主机。当前环境具有kubectl管理权限的主机有master01、master02、master03、kubectl节点，这里选择kubectl节点，即为192.168.1.170主机。

# 1、下载nfs插件
mkdir /root/nfs && cd /root/nfs
for file in class.yaml deployment.yaml rbac.yaml; do wget https://raw.githubusercontent.com/kubernetes-incubator/external-storage/master/nfs-client/deploy/$file ; done

# 2、镜像下载并推送到镜像仓库（如下图所示）
docker pull quay.io/external_storage/nfs-client-provisioner:latest
docker tag quay.io/external_storage/nfs-client-provisioner:latest server.harbor.com:8888/nfs-client/quay.io/external_storage/nfs-client-provisioner:latest
docker push server.harbor.com:8888/nfs-client/quay.io/external_storage/nfs-client-provisioner:latest

# 2、修改deployment.yaml文件
vim /root/nfs/deployment.yaml

apiVersion: apps/v1
kind: Deployment
metadata:
  name: nfs-client-provisioner
  labels:
    app: nfs-client-provisioner
  # replace with namespace where provisioner is deployed
  namespace: default
spec:
  replicas: 1
  strategy:
    type: Recreate
  selector:
    matchLabels:
      app: nfs-client-provisioner
  template:
    metadata:
      labels:
        app: nfs-client-provisioner
    spec:
      serviceAccountName: nfs-client-provisioner
      containers:
        - name: nfs-client-provisioner
          image: server.harbor.com:8888/nfs-client/quay.io/external_storage/nfs-client-provisioner:latest ##默认是latest版本
          volumeMounts:
            - name: nfs-client-root
              mountPath: /persistentvolumes
          env:
            - name: PROVISIONER_NAME
              value: fuseim.pri/ifs ##这里的供应者名称必须和class.yaml中的provisioner的名称一致，否则部署不成功
            - name: NFS_SERVER
              value: 192.168.1.170 ##这里写NFS服务器的IP地址或者能解析到的主机名
            - name: NFS_PATH
              value: /data/kubesphere/v1 ##这里写NFS服务器中的共享挂载目录（强调：这里的路径必须是目录中最后一层的文件夹，否则部署的应用将无权限创建目录导致Pending）
      volumes:
        - name: nfs-client-root
          nfs:
            server: 192.168.1.170  ##NFS服务器的IP或可解析到的主机名 
            path: /data/kubesphere/v1 ##NFS服务器中的共享挂载目录（强调：这里的路径必须是目录中最后一层的文件夹，否则部署的应用将无权限创建目录导致Pending）

# 4、部署yaml文件
[root@k8s-client nfs]# kubectl apply -f .

# 5、查看服务
[root@k8s-client nfs]# kubectl get pods
NAME                                     READY   STATUS    RESTARTS   AGE
nfs-client-provisioner-78697f488-5p52r   1/1     Running   0          16h
 
# 6、列出你的集群中的StorageClass 
[root@k8s-client nfs]# kubectl get storageclass
NAME                  PROVISIONER      RECLAIMPOLICY   VOLUMEBINDINGMODE   ALLOWVOLUMEEXPANSION   AGE
managed-nfs-storage   fuseim.pri/ifs   Delete          Immediate           false                  16h

# 7、标记一个StorageClass为默认的 （是storageclass的名字也就是你部署的StorageClass名字是啥就写啥）
[root@k8s-client nfs]# kubectl patch storageclass managed-nfs-storage -p '{"metadata": {"annotations":{"storageclass.kubernetes.io/is-default-class":"true"}}}'
storageclass.storage.k8s.io/managed-nfs-storage patched

# 8、验证你选用为默认的StorageClass
[root@k8s-client nfs]# kubectl get storageclass
NAME                            PROVISIONER      RECLAIMPOLICY   VOLUMEBINDINGMODE   ALLOWVOLUMEEXPANSION   AGE
managed-nfs-storage (default)   fuseim.pri/ifs   Delete          Immediate           false                  16h

七、离线部署kubesphere

7.1、下载部署文件

# 1、执行以下命令下载这两个文件，并将它们传输至您充当任务机的机器，用于安装
curl -L -O https://github.com/kubesphere/ks-installer/releases/download/v3.1.0/cluster-configuration.yaml
curl -L -O https://github.com/kubesphere/ks-installer/releases/download/v3.1.0/kubesphere-installer.yaml

# 2、编辑cluster-configuration.yaml添加您的私有镜像仓库
vim cluster-configuration.yaml
spec:
  persistence:
    storageClass: ""        
  authentication:
    jwtSecret: ""           
  local_registry: server.harbor.com:8888/kubesphere   #添加内容

# 3、编辑完成后保存 cluster-configuration.yaml，使用以下命令将 ks-installer 替换为您自己仓库的地址
sed -i "s#^\s*image: kubesphere.*/ks-installer:.*#        image: server.harbor.com:8888/kubesphere/kubesphere/ks-installer:v3.1.0#" kubesphere-installer.yaml

7.2、最小化安装

# 请按照如下先后顺序安装（必须）
# 1、安装kubesphere-installer.yaml
[root@k8s-client ~]# kubectl apply -f kubesphere-installer.yaml 
customresourcedefinition.apiextensions.k8s.io/clusterconfigurations.installer.kubesphere.io created
namespace/kubesphere-system created
serviceaccount/ks-installer created
clusterrole.rbac.authorization.k8s.io/ks-installer created
clusterrolebinding.rbac.authorization.k8s.io/ks-installer created
deployment.apps/ks-installer created

# 2、安装cluster-configuration.yaml
[root@k8s-client ~]# kubectl apply -f cluster-configuration.yaml
clusterconfiguration.installer.kubesphere.io/ks-installer created

7.2、检查安装日志

kubectl logs -n kubesphere-system $(kubectl get pod -n kubesphere-system -l app=ks-install -o jsonpath='{.items[0].metadata.name}') -f

如下图所示，则表示安装成功
在这里插入图片描述
默认账号密码：

Console: http://192.168.1.223:30880
Account: admin
Password: P@88w0rd

如下图所示：
在这里插入图片描述
至此，kubesphere最小化安装就成功了。

参考官方文档

八、启用可插拔组件

参考官方文档

8.1、KubeSphere告警系统

# 1、编辑cluster-configuration.yaml
vim cluster-configuration.yaml
alerting:
    enabled: true # 将“false”更改为“true”。

# 2、执行以下命令开始安装
kubectl apply -f kubesphere-installer.yaml
kubectl apply -f cluster-configuration.yaml

如下图所示：
在这里插入图片描述

8.2、KubeSphere日志系统

# 1、编辑cluster-configuration.yaml
vim cluster-configuration.yaml
logging:
  enabled: true # 将“false”更改为“true”。

# 2、执行以下命令开始安装
kubectl apply -f kubesphere-installer.yaml
kubectl apply -f cluster-configuration.yaml

如下图所示：
在这里插入图片描述

8.3、KubeSphere审计日志

# 1、编辑cluster-configuration.yaml
vim cluster-configuration.yaml
auditing:
  enabled: true # 将“false”更改为“true”。

# 2、执行以下命令开始安装
kubectl apply -f kubesphere-installer.yaml
kubectl apply -f cluster-configuration.yaml

如下图所示：
在这里插入图片描述

8.4、KubeSphere应用商店

# 1、编辑cluster-configuration.yaml
vim cluster-configuration.yaml
openpitrix:
  store:
    enabled: true # 将“false”更改为“true”。

# 2、执行以下命令开始安装
kubectl apply -f kubesphere-installer.yaml
kubectl apply -f cluster-configuration.yaml

如下图所示：
在这里插入图片描述

8.5、KubeSphere DevOps

# 1、编辑cluster-configuration.yaml
vim cluster-configuration.yaml
devops:
  enabled: true # 将“false”更改为“true”。

# 2、执行以下命令开始安装
kubectl apply -f kubesphere-installer.yaml
kubectl apply -f cluster-configuration.yaml

# 3、查看jenkins服务端口
[root@k8s-client ~]# kubectl get svc -n kubesphere-devops-system | grep ks-jenkins
ks-jenkins                    NodePort    10.96.209.254   <none>        80:30180/TCP   2d3h
ks-jenkins-agent              ClusterIP   10.96.184.146   <none>        50000/TCP      2d3h

# 4、查看jenkins服务主机
[root@k8s-client ~]# kubectl get pods -n kubesphere-devops-system -o wide | grep jenkins
NAME                          READY   STATUS    RESTARTS   AGE    IP           NODE       NOMINATED NODE   READINESS GATES
ks-jenkins-67dcf6998d-gkrl5   1/1     Running   0          2d3h   10.48.4.31   worker02   <none>           <none>
s2ioperator-0                 1/1     Running   0          2d3h   10.48.3.31   worker01   <none>           <none>

# 5、登录jenkins
http://192.168.1.162:30180/
Account: admin
Password: P@88w0rd

如下图所示：
在这里插入图片描述

8.6、KubeSphere服务网格

# 1、编辑cluster-configuration.yaml
vim cluster-configuration.yaml
servicemesh:
  enabled: true # 将“false”更改为“true”。

# 2、执行以下命令开始安装
kubectl apply -f kubesphere-installer.yaml
kubectl apply -f cluster-configuration.yaml

如下图所示：
在这里插入图片描述

8.7、KubeSphere网络策略

# 1、编辑cluster-configuration.yaml
vim cluster-configuration.yaml
network:
  networkpolicy:
    enabled: true # 将“false”更改为“true”。

# 2、执行以下命令开始安装
kubectl apply -f kubesphere-installer.yaml
kubectl apply -f cluster-configuration.yaml

如下图所示：
在这里插入图片描述

总结：整理不易，如果对你有帮助，可否点赞关注一下？

更多详细内容请参考：企业级K8s集群运维实战

东城绝神
关注
  • 4
    点赞
  • 踩
  • 22
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 3
    评论
专栏目录
kubeadm部署k8s（包括离线方式）
weixin_42603477的博客
07-14 2676
kubeadm是官方社区推出的一个用于快速部署kubernetes集群的工具。这个工具能通过两条指令完成一个kubernetes集群的部署
K8S集群二进制部署（离线）
qq_44304657的博客
01-24 899
kube-apiserver使用RBAC对客户端（如kubelet、kube-proxy、pod）请求进行授权，kube-apiserver预定义了一些RBAC使用的RoleBindings（角色绑定），如cluster-admin将Group system:masters与Role cluster-admin绑定，该Role授予了调用kube-apiserver的所有api权限。#- v1：这是稳定的版本，已经经过充分测试，并且是推荐用于生产环境的版本。
kubesphere v3.4.1 离线包制作和离线安装
最新发布
weixin_57489252的博客
05-28 966
如果你的虚拟机能够无障碍访问互联网，就用下面这个制品清单，如果不能，可以参考官网 all-in-one 安装模式先安装一套kubesphere 集群，在用已有的集群导出制品。
离线搭建kubernetes和kubesphere
qq_38120778的博客
04-17 880
一、离线搭建docker和环境包 1.搭建本地yum源 tar -xvzf centos-local.tgz cd /root/docker-ce-local rpm -ivh createrepo-0.9.9-28.el7.noarch.rpm cat>/etc/yum.repos.d/docker-ce-local.repo<<EOF [docker-ce-local] name=Local Yum baseurl=file:///root/docker-ce-local/ gpgc
Kubespray v2.21.0 离线部署 Kubernetes v1.25.6 集群
爱死亡机器人
04-19 2830
Kubespray可以部署在 AWS, GCE, Azure, OpenStack 以及裸机上.部署 High Available Kubernetes 集群.可组合性 (Composable)，可自行选择 Network Plugin (flannel, calico, canal, weave) 来部署.支持多种 Linux distributions。
kubesphere容器平台部署
IT
04-21 8701
kubesphere简介 KubeSphere是一个以应用为中心的容器平台，完全开源，KubeSphere 帮助企业在云、虚拟化及物理机等任何环境中快速构建、部署和运维基于 Kubernetes 的容器架构，轻松实现微服务治理、多租户管理、DevOps 与 CI/CD、监控日志告警、应用商店、大数据、以及人工智能等业务场景。 官网：https://kubesphere.io/ 项目地址：http...
Kubernetes集群搭建：基于Kubeadm
02-24
*K8S版本为15.1*Docker版本最高支持18.06.11，清除原Docker环境，原版本为最新版2，如果清除后依旧包冲突错误通过yum命令手动移除冲突包3，安装18.06.1版本Docker1，基础环境准备a，机器节点准备，虚拟机搭建，内存...
Kubernetes-Saltstack：部署生产Kubernetes集群的配方
02-03
Kubernetes-Saltstack：部署生产Kubernetes集群的配方
Kubernetes集群部署
02-27
* Kubernetes：Kubernetes是容器编排系统，用于自动化容器的部署、扩展和管理。 * 容器编排：容器编排是指自动化容器的部署、扩展和管理，以便于提高应用程序的可用性和高可用性。 Kubernetes集群部署需要准备好...
云原生Kubernetes全栈架构师：基于世界500强的k8s实战课程
02-18
分享课程——【2022】云原生Kubernetes全栈架构师：基于世界500强的k8s实战课程，2022年最新版，基于V1.23版本，完整版提供文档和软件下载！ 课程适合人群： 1、准备学习k8s的运维、开发、测试、架构师； 2、k8s...
Kubernetes：（十一）KubeSphere的介绍和安装（华丽的篇章）
ver_mouth__的博客
08-03 4633
PVC的全称是Persistent Volume claim，是持久化存储的请求。
K8S集群安装kubesphere3.1.1
彼岸吖的博客
04-01 1654
目录 一.安装metrics-server 二.安装kubesphere 1、kubesphere-installer.yaml 2、cluster-configuration.yaml 3.安装 四.可拔插组件 1.卸载可拔插组件 2.安装可拔插组件 环境准备：服务器>4核8G、安装Docker、安装k8s k8s中部署好ingress、nfs-storageclass 一.安装metrics-server metrics-ser.........
kubespray 离线部署 kubernetes集群
IT
06-08 6473
Kubespray是Google开源的一个部署生产级别的Kubernetes服务器集群的项目，它整合了Ansible作为部署的工具。
【云原生实战】Kubernetes上安装KubeSphere
专注于Java领域开发 关注我 带你玩转Java
06-08 1505
Kubernetes上安装KubeSphere
K8S集群安装KubeSphere失败记录
热门推荐
己亥谷雨
08-05 1万+
是的。 今天早上安装又没成功，这特么这玩意儿有那么难搞吗？？？ 有/???? 首先。我是通过下面这样把yaml配置文件get到本地 wget https://raw.githubusercontent.com/kubesphere/ks-installer/v3.0.0-alpha.1/deploy/kubesphere-installer.yaml wget了两个文件，下面红框 然后依次配置两个yaml文件（下面只贴了一行） kubectl apply -f kubesphere-i
使用虚拟机/云服务器安装KubeSphere
bulinstar的博客
05-29 1633
同样先上Kubernetes的版本以及环境配置 软件环境 VMWare Palyer16 部署的两台Ubuntu 18.04 Kubernetes v1.20 Kubernetes环境 这里我们可以先看一下通过KubeKey安装的Kubernetes。大家可以自己排查一下再继续跟笔者往下走，如果对K8s架构熟悉的大佬可以略过此标题的内容。 这里我们可以看到KubeKey帮助我们安装的核心组件。 其中calico为网络插件、coreDNS为dns解析插件、apiserver为控制平面插件、kube-prox
Kubernetes集群初始配置
Ricost的博客
09-24 810
配置IP Ubuntu 18 修改IPvi /etc/netplan/50-cloud-init.yaml network: ethernets: ens33: addresses: [192.168.141.110/24] gateway4: 192.168.141.2 nameservers: addresses: [192.168.141.2] version: 2 指令生效：netp
Spring Boot Redis Cluster Configuration
pgig的专栏
03-29 7546
问题： 1、集群信息已变更(添加或停节点)，RedisTemplate无法访问节点 2、集群未读写分离，主读写压力大。 解决： 1、版本：spring boot 2.1.3.RELEASE、spring Cloud Greenwich.RELEASE 2、依赖：spring-boot-starter-data-redis、commons-pool2 ...
GitOps and Kubernetes Continuous Deployment with Argo CD, Jenkin
03-07
GitOps是一种基于Git的工作流程，它将基础设施和应用程序的配置管理作为代码，并利用Git仓库作为单一可信源来驱动Kubernetes集群的状态。这种模式强调了DevOps实践中的自动化和一致性，使得团队能够更高效地部署和...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

东城绝神

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值