微服架构基础设施环境平台搭建 -（四）在Kubernetes集群基础上搭建Kubesphere平台

已于 2024-05-15 18:21:52 修改
阅读量1.4k 收藏
点赞数
分类专栏： 微服务 文章标签： kubernetes 架构 docker
于 2023-05-12 19:28:59 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/dyj095/article/details/130580441
版权

微服架构基础设施环境平台搭建 -（四）在Kubernetes集群基础上搭建Kubesphere平台

通过采用微服相关架构构建一套以Kubernetes+Docker为自动化运维基础平台，以微服务为服务中心，在此基础之上构建业务中台，并通过Jekins自动构建、编译、测试、发布的自动部署，形成一套完整的自动化运维、发布的快速DevOps平台。

本文是基于Kubernets集群基础上来部署Kubesphere的，搭建Kubernetes集群参见【微服架构基础设施环境平台搭建 -（三）Docker+Kubernetes集群搭建】

Kubesphere详情参见【官方网站】

详情参照Kubesphere官方文档【在 Kubernetes 上最小化安装 KubeSphere】

微服架构基础设施环境平台搭建 系列文章

微服架构基础设施环境平台搭建 -（一）基础环境准备
微服架构基础设施环境平台搭建 -（二）Docker私有仓库Harbor服务搭建
微服架构基础设施环境平台搭建 -（三）Docker+Kubernetes集群搭建
微服架构基础设施环境平台搭建 -（四）在Kubernetes集群基础上搭建Kubesphere平台
微服架构基础设施环境平台搭建 -（五）Docker常用命令
微服架构基础设施环境平台搭建 -（六）Kubesphere 部署Redis服务 & 设置访问Redis密码
微服架构基础设施环境平台搭建 -（七）Kubesphere pod内安装vim&ping命令

目录

一、微服架构采用的技术架构

序号技术框架说明
1Kubernetes
2KubesphereKubernetes编排器，管理平台,类似的平台还有Rancher
3Docker
4HarborDocker私有仓库
5GitLab源码库
6Jekins自动编译、测试、发布平台
7Spring Cloud AlibabaSpring Cloud Alibaba微服体系架构
8NacosApi网关、服务注册发现配置管理中心
9Sentinel限流溶断安全中心
10Seata分布式事务管理框架
11Redis分布式缓存服务
12ElasticSearch/Solr数据检索服务
13Mysql结构化数据存储
14Grafana监控平台
15Nginx服务代理、Web服务

二、微服架构基础设施平台网络规划

序号IPHostName操作系统K8s角色说明
1192.168.1.141ks-m1CentOS7_x64控制节点Kubernetes Master
2192.168.1.142ks-m2CentOS7_x64控制节点Kubernetes Master高可用节点，如果不需要高可用，可不部署此服务器
3192.168.1.143ks-m3CentOS7_x64控制节点Kubernetes Master高可用节点，如果不需要高可用，可不部署此服务器
4192.168.1.144ks-n1CentOS7_x64工作节点Kubernetes Worker
5192.168.1.145ks-n2CentOS7_x64工作节点Kubernetes Worker
6192.168.2.146ks-harborCentOS7_x64工作节点Harbor服务+NFS文件服务

三、部署架构

在这里插入图片描述

四、部署NFS提供外部共享存储

1、在ks-harbor服务器部署NFS服务

yum install -y nfs-common nfs-utils 
# 分配权限
mkdir /nfsdata && chmod 666 /nfsdata && chown nfsnobody /nfsdata
# 配置挂载
vim /etc/exports
/nfsdata *(rw,no_root_squash,no_all_squash,sync)

#systemctl start nfs && systemctl enable nfs  && systemctl status nfs
#启动
systemctl start rpcbind && systemctl start nfs

# 使配置生效
exportfs -r

#检查配置是否生效
exportfs

#重载配置文件，不需要重启服务
exportfs -arv

2、在ks-n1、ks-n2服务器部署NFS客户端

分别在ks-n1、ks-n2执行下面的命令

# 安装nfs
yum install -y nfs-utils

systemctl enable rpcbind
systemctl enable nfs-server
systemctl start rpcbind
systemctl start nfs-server

#用showmount -e查看远程服务器rpc提供的可挂载的nfs信息
showmount -e 192.168.2.146

#创建挂载点目录(可自行定义）
mkdir -p /nfsdata
#执行挂载命令，完成后测试文件是否共享
mount -t nfs 192.168.2.146:/nfsdata /nfsdata
#配置客户端重启时自动挂载
vim /etc/fstab

新增内容

192.168.2.146:/nfsdata  /nfsdata	nfs     defaults	0 0

#查看挂载是否成功
df -h

在这里插入图片描述

五、为Kubenetes集群配置NFS存储

本操作所有命令都在ks-m1服务器上执行

1、新建sc.yaml

mkdir /home/hxyl/sc
cd /home/hxyl/sc
vim sc.yaml

sc.yaml的内容

## 创建了一个存储类
apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
  name: nfs-storage
  annotations:
    storageclass.kubernetes.io/is-default-class: "true"
provisioner: k8s-sigs.io/nfs-subdir-external-provisioner
parameters:
  archiveOnDelete: "true"  ## 删除pv的时候，pv的内容是否要备份

---
apiVersion: apps/v1
kind: Deployment
metadata:
  name: nfs-client-provisioner
  labels:
    app: nfs-client-provisioner
  # replace with namespace where provisioner is deployed
  namespace: default
spec:
  replicas: 1
  strategy:
    type: Recreate
  selector:
    matchLabels:
      app: nfs-client-provisioner
  template:
    metadata:
      labels:
        app: nfs-client-provisioner
    spec:
      serviceAccountName: nfs-client-provisioner
      containers:
        - name: nfs-client-provisioner
          image: registry.cn-hangzhou.aliyuncs.com/lfy_k8s_images/nfs-subdir-external-provisioner:v4.0.2
          # resources:
          #    limits:
          #      cpu: 10m
          #    requests:
          #      cpu: 10m
          volumeMounts:
            - name: nfs-client-root
              mountPath: /persistentvolumes
          env:
            - name: PROVISIONER_NAME
              value: k8s-sigs.io/nfs-subdir-external-provisioner
            - name: NFS_SERVER
              value: 192.168.2.146 ## 指定自己nfs服务器地址
            - name: NFS_PATH  
              value: /nfsdata  ## nfs服务器共享的目录
      volumes:
        - name: nfs-client-root
          nfs:
            server: 192.168.2.146
            path: /nfsdata
---
apiVersion: v1
kind: ServiceAccount
metadata:
  name: nfs-client-provisioner
  # replace with namespace where provisioner is deployed
  namespace: default
---
kind: ClusterRole
apiVersion: rbac.authorization.k8s.io/v1
metadata:
  name: nfs-client-provisioner-runner
rules:
  - apiGroups: [""]
    resources: ["nodes"]
    verbs: ["get", "list", "watch"]
  - apiGroups: [""]
    resources: ["persistentvolumes"]
    verbs: ["get", "list", "watch", "create", "delete"]
  - apiGroups: [""]
    resources: ["persistentvolumeclaims"]
    verbs: ["get", "list", "watch", "update"]
  - apiGroups: ["storage.k8s.io"]
    resources: ["storageclasses"]
    verbs: ["get", "list", "watch"]
  - apiGroups: [""]
    resources: ["events"]
    verbs: ["create", "update", "patch"]
---
kind: ClusterRoleBinding
apiVersion: rbac.authorization.k8s.io/v1
metadata:
  name: run-nfs-client-provisioner
subjects:
  - kind: ServiceAccount
    name: nfs-client-provisioner
    # replace with namespace where provisioner is deployed
    namespace: default
roleRef:
  kind: ClusterRole
  name: nfs-client-provisioner-runner
  apiGroup: rbac.authorization.k8s.io
---
kind: Role
apiVersion: rbac.authorization.k8s.io/v1
metadata:
  name: leader-locking-nfs-client-provisioner
  # replace with namespace where provisioner is deployed
  namespace: default
rules:
  - apiGroups: [""]
    resources: ["endpoints"]
    verbs: ["get", "list", "watch", "create", "update", "patch"]
---
kind: RoleBinding
apiVersion: rbac.authorization.k8s.io/v1
metadata:
  name: leader-locking-nfs-client-provisioner
  # replace with namespace where provisioner is deployed
  namespace: default
subjects:
  - kind: ServiceAccount
    name: nfs-client-provisioner
    # replace with namespace where provisioner is deployed
    namespace: default
roleRef:
  kind: Role
  name: leader-locking-nfs-client-provisioner
  apiGroup: rbac.authorization.k8s.io

2、执行发布安装

# 执行发布安装
kubectl apply -f sc.yaml

# 查看nfs-client-provisioner pod 是否安装成功
kubectl get pod -A

在这里插入图片描述
在这里插入图片描述

六、安装Kubesphere

1、下载并发布安装Kubesphere

# 下载核心文件并将其pod发布到Kubernetes中
kubectl apply -f https://github.com/kubesphere/ks-installer/releases/download/v3.3.2/kubesphere-installer.yaml

# 执行完此命令后需要通过下面【2、通过日志实时显示安装进度】命令查看安装进度，大概需要几分钟的时间
kubectl apply -f https://github.com/kubesphere/ks-installer/releases/download/v3.3.2/cluster-configuration.yaml

2、通过日志实时显示安装进度

#查看安装进度
kubectl logs -n kubesphere-system $(kubectl get pod -n kubesphere-system -l 'app in (ks-install, ks-installer)' -o jsonpath='{.items[0].metadata.name}') -f

在这里插入图片描述

3、登录Web控制台

说明：

1、访问3个Master节点（ks-m1、ks-m2、ks-m3）任何一个节点的30880端口即可。例如：http://192.168.1.141:30880
2、默认的用户名：admin，默认的密码：P@88w0rd

七、体验Kubesphere平台

说明：
下面部分截图中显示的是3个节点，原因是开始部署的5台虚拟机由于资源有限，服务器跑不动了，导致集群节点不可用，后来，将集群节点由5个降为3个节点：
1、Master节点：ks-m1
2、Worker节点：ks-m2、ks-n1

1、登录

1）、登录画面
在这里插入图片描述

2）、初次登录时修改初始密码画面 在这里插入图片描述

2、首页

1）、登录成功后首页
在这里插入图片描述
2）、平台管理首页
在这里插入图片描述

3、集群节点管理

1）、集群节点列表管理画面
在这里插入图片描述
2）、集群节点详情画面
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

4、监控告警

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

八、启用DevOps插件

1、进入集群管理

登录Web控制台后->平台管理->集群管理
在这里插入图片描述

2、定制资源定义

1）、搜索框内输入【clusterconfiguration】

在这里插入图片描述

2）、进入ClusterConfiguration详情画面后编辑ks-insaller的YAML

在这里插入图片描述

3）、将devops下的enabled值改为true

改值改为true后，点击【确定】后保存并关闭弹窗口，并在稍后会提示“更新成功”
在这里插入图片描述

4）、查看安装进度

安装过程会持续几分钟，执行下面命令可以查看实时安装日志

# 在ks-m1上执行
kubectl logs -n kubesphere-system $(kubectl get pod -n kubesphere-system -l 'app in (ks-install, ks-installer)' -o jsonpath='{.items[0].metadata.name}') -f

九、在Kubesphere上部署一个Harbor上的镜像服务

1、创建企业空间

2、创建项目

3、创建访问Harbor的令牌

项目详情->配置->保密字典 在这里插入图片描述

4、创建服务

项目详情->应用负载->服务
在这里插入图片描述

说明

1、无状态服务：无数据数据持久化的服务
2、有状态服务：数据需要持久化的服务

由于我们是要创建mysql服务，所以选有状态

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
配置完成后点击【对钩】
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

老杜095
关注
专栏目录
KubeSphere核心实战_在Centos7.9使用kubekey一键构建k8s集群完整平台_多节点自动化部署kubesphere_k8s集群---分布式云原生部署架构搭建039
添柴程序猿的专栏
07-22 2146
可以看到其实就是指定了配置文件,kubernetes的版本和kubesphere的版本。可以看到我们有三台机器,并且内部互通.点击复制标志可以复制它的内网的ip地址。进行一键部署的,现在我们准备3台机器,用kubekey,部署k8s集群.上一节我们在一个单节点上部署了kubesphere,使用kubekey。可以看官网,有all in one 就是所有的都装在一个机器上.也是首先执行上面的这两个命令,下载配置文件。可以看到安装步骤,跟着做就可以了.然后可以看到有个多节点安装,打开。连接上三台机器,首先。
从零到壹搭建一个商城架构--KubeSphere
温润如风的博客
08-19 848
KubeSphere是一款面向云原生设计的开源项目，在目前主流容器调度平台kubernets之上构建的分布式多租户容器管理平台，提供简单易用的操作界面以及向导式操作方式，在降低用户使用容器调度平台学习成本的同事，极大降低开发、测试、运维的日常工作的复杂度。...
kubesphere搭建多节点集群
weixin_45874506的博客
11-13 1177
一、准备环境 1、准备服务器 master0 ：192.168.37.11 centos7.5 + 8cpu + 16G（内存） + 20G（/） + 200G ( data） + 200G（mnt） master1 ：192.168.37.12 centos7.5 + 8cpu + 16G（内存） + 20G（/） + 200G ( data） master2 ：192.168.37.13...
KubeSphere搭建
m0_65307735的博客
09-19 5315
kubesphere
KubeSphere的三种部署方式
最新发布
weixin_52377412的博客
09-23 1610
KubeSphere部署流程
Kubesphere平台搭建
weixin_46389877的博客
12-30 3451
kubesphere3.1.1平台环境搭建
【云原生】Kubernetes上安装KubeSphere详细教程
Mr朱鹏的博客
03-21 2463
【云原生】Kubernetes上安装KubeSphere详细教程
搭建KubeSphere集群教程
qq_37193972的博客
08-23 1047
具体docker安装教程可自行百度注：三台主机都需安装docker、docker-compose以下是我个人安装的docker、docker-compose版本。
ks-installer：在现有Kubernetes集群上安装KubeSphere
02-04
在现有的Kubernetes集群上安装KubeSphere English | 除了支持在VM和BM上进行部署外，KubeSphere还支持在云托管和本地现有Kubernetes集群上进行安装。 先决条件 Kubernetes版本：1.15.x，1.16.x，1.17.x，1.18.x; ...
使用 KubeKey 搭建 Kubernetes-KubeSphere 环境的"心路(累)历程".doc
07-08
它提供了一个简洁的命令行界面，用户可以使用 KubeKey 在短时间内搭建一个功能齐全的 Kubernetes 集群和 KubeSphere 环境。 knowledge point 2: KubeKey 的使用体验 作者在使用 KubeKey 时遇到了多个问题，例如...
【云原生】kubernetes最新版本1.30.2，集群搭建部署全方位攻略
热门推荐
景天科技苑
06-24 2万+
目前k8s最新版本1.30.2集群搭建部署，保姆级教程，一文搞定搭建过程中的所有疑难杂症
安装搭建KubeSphere环境
积跬步，至千里。
03-18 3049
KubeSphere是一个以Kubernetes为内核的云原生分布式操作系统，它的架构可以非常方便地使第三方应用与云原生生态组件进行即插即用的集成，支持云原生应用在多云与多集群的统一分发和运维管理
部署kubesphere
weixin_58519482的博客
08-21 1149
这里我只是回顾下，至于/etc/kubeasz/clusters/k8s-01/hosts’ 和 '/etc/kubeasz/clusters/k8s-01/config.yml文件如何修改，可以参考我前面的博客，里面介绍的很详细。2、calico组件运行都是正常的，我又查看了kube-proxy组件是否正常，经过一番检查发现都是没问题，我就怀疑是我环境有问题，直接把集群销毁，重新部署（我这里的环境此时还没有装任何服务），发现问题没有了。
Linux-kubesphere（K8S）小白单机版搭建部署
Leopard锋的博客
08-26 1090
参考官网：https://www.kubesphere.io/zh/docs/v3.4/quick-start/all-in-one-on-linux/
kubesphere搭建单节点工作平台全过程
keyan的岁月阁
02-17 516
kubesphere搭建单节点工作平台全过程 环境准备 初始环境准备 #k8s 关闭selinux sed -i 's/SELINUX=enforcing/SELINUX=disabled/g' /etc/selinux/config 关闭firewalld以及关闭开机自启动 systemctl stop firewalld && systemctl disable firewalld 安装yum管理工具，增加dockeryum源 yum install -y yum-utils &am
KubeSphere容器平台（Kubernetes系统上、单节点linux系统、多节点linux系统搭建）+ KubeSphere操作（上传阿里云，打包镜像、云上部署）
usa_washington的博客
12-14 751
K8S，KubeSphere容器平台，
k8s部署之kubesphere安装与生产配置使用教程(问题整合,持续更新)
Sunshine_Mr_Sun的博客
06-06 6884
KubeSphere 是在 Kubernetes 之上构建的以应用为中心的多租户容器平台,提供全栈的 IT 自动化运维的能力,简化企业的 DevOps 工作流。KubeSphere 提供了运维友好的向导式操作界面,帮助企业快速构建...本文采用的kk(KubeKey)工具进行kubesphere及k8s安装，笔者已在生产和VM成功部署使用，请放心使用哦~享受优质模板进行阅读~点击。
K8S集群搭建，以及可视化界面Dashboard，和在kubernetes上安装kubeSphere
weixin_42916677的博客
12-25 1897
给每台虚拟机设置静态ip，我这边设置的是 192.168.110.29，192.168.110.30，192.168.110.31。1：准备三台虚拟机分别作为master，node1，node2节点。内存按照官方的要求设置为：内存4GB,处理器2核，硬盘大小40G。可以使用最新版本，默认下载最新版本不需要指定版本号。3、安装docker,我们选择固定版本。Linux： CentOS7 64位。此处开始三个虚拟机都要进行设置。
KubeSphere一键安装部署K8S集群（单master节点）-亲测过
qq_759035366的博客
10-22 1220
【代码】KubeSphere一键安装部署K8S集群（单master节点）-亲测过。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

老杜095

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值