本文详细介绍了如何在已有的Kubernetes环境中安装KubeSphere，包括KubeSphere的简介、NFS存储配置、安装过程以及解决Prometheus监控etcd时遇到的Secret问题。通过NFS配置动态存储，安装Metrics-Server，最后成功安装并访问KubeSphere控制台。
目录
5.1 修改每个 API Server 的 kube-apiserver.yaml 配置开启 Aggregator Routing
6.2 修改cluster-configuration集群配置
6.3 安装kubesphere并配置kubesphere（注意运行顺序）
7、解决Prometheus监控etcd找不到Secret的问题
7.1 安装好了KubeSphere之后查看相关Pod，会发现有两个Prometheus（监控服务）一直处于ContainerCreating，那这时我们就需要排查一下错误了，首先describe
一、KubeSphere介绍
官网地址：https://kubesphere.com.cn/
首先先看下官网的介绍：
- KubeSphere是打造一个以Kubernetes为内核的云原生分布式操作系统。它的架构可以非常方便地使第三方应用与云原生生态组件进行即插即用（plug-and-play）的集成，支持云原生应用在多云与多集群的统一分发和运维管理。
- KubeSphere是个全栈的Kubernetes容器云PasS解决方案
- KubeSphere 是在 Kubernetes 之上构建的以应用为中心的多租户容器平台，提供全栈的 IT 自动化运维的能力，简化企业的 DevOps 工作流。KubeSphere 提供了运维友好的向导式操作界面，帮助企业快速构建一个强大和功能丰富的容器云平台。
我的个人理解：
- KubeSphere是个容器云平台，即PaaS平台，而Kubernetes是个容器编排系统，二者不一样。而在DevOps时代，我们以Kubernetes为核心的技术展开，所以说KubeSphere是以Kubernetes为内核的，这就像Linux操作系统的内核一样，Linux操作系统依赖于内核，一样重要。但这并不能说明，KubeSphere只能基于Kubernetes去搭建，KubeSphere也能部署在裸机（虚拟机）中。
- KubeSphere整体来说是一个能够灵活组合云原生应用的一个平台，在这个平台里，可以把其它云原生应用当成个插件来使用，比如：DevOps中的：Jenkins，也集成了Service mesh的应用，比如：Istio。这也就是所说的即插即用，这对于运维人员行。
- KubeSphere可以简单的理解为是Kubernetes的dashboard，但是KubeSphere不仅仅只满足于dashboard功能，并且可以实现众多复杂的功能。
二、安装KubeSphere（v3.1.1）
安装KubeSphere最好的方法就是参考官方文档，而且官方文档是中文的。
官网地址：https://kubesphere.com.cn/
1、安装环境说明
具备好一个最基本Kubernetes平台。
注：如果没有安装kubernetes平台请参考文档：
https://blog.csdn.net/m0_57776598/article/details/124043624
如果使用v1.20.9版本的话，使用就参考雷神老师的文档和镜像仓库：
https://www.yuque.com/leifengyang/oncloud/gz1sls
2、安装并配置NFS存储
根据官方文档要求，在安装，KubeSphere之前，Kubernetes平台上需要有个默认的StorageClass类资源，也就是默认存储，提到StorageClass类资源，我们就要想到PV，PVC，这里的StorageClass类资源不再是传统的手动创建PV，PVC了，而是采用动态的方式绑定存储，比如：我写个PVC文件，底层会自动匹配相应的PV（如果没有对应的PV，则自动创建）。但是这一切的前提都需要有个存储，因此我们用NFS来实现。
这里以master节点为NFS服务器
2.1 安装nfs-server（所有节点的操作）
yum install -y nfs-utils
2.2 授权存储目录（master）
echo "/nfs/data/ *(insecure,rw,sync,no_root_squash)" > /etc/exports
2.3 执行以下命令，启动 nfs 服务;创建共享目录
mkdir -p /nfs/data
2.4 在master节点执行
systemctl enable rpcbind
systemctl enable nfs-server
systemctl start rpcbind
systemctl start nfs-server
2.5 使配置生效
exportfs -r
检查配置是否生效
[root@k8s-master ~]# exportfs
/nfs/data <world>
2.6 测试，在客户端
[root@node2 ~]# showmount -e 192.168.223.11
Export list for 192.168.223.11:
/nfs/data *
3、配置默认存储
- 上面说到我们是采用StorageClass抽象来动态创建PV，但是使用StorageClass有个前提，就是需要个存储分配器。StorageClass是通过存储分配器（provisioner）来分配PV的，但是Kubernetes官方内置的分配器并不支持NFS，所以需要额外安装NFS存储分配器。它以deployment运行。也就是说我们需要创建个deployment。
- 由于存储分配器在Kubernetes集群内部，存储分配器想要操控NFS分配空间，就需要和API Server交互，这属于集群内部Pod和API Server交互，因此我们还需要创建个ServiceAccount，然后在创建存储类（StorageClass），之后创建ClusterRole，ClusterRoleBinding，Role，RoleBinding等账号权限配置
以上就是我们配置默认存储所执行的步骤：创建StorageClass资源，创建ServiceAccount资源，创建deployment资源，创建ClusterRole，ClusterRoleBinding，Role，RoleBinding等权限资源。
3.1 执行如下yaml文件
vi sc.yaml
## 创建了一个存储类
apiVersion: storage.k8s.io/v1
kind: StorageClass #存储类的资源名称
metadata:
name: nfs-storage #存储类的名称，自定义
annotations:
storageclass.kubernetes.io/is-default-class: "true" #注解，是否是默认的存储，注意：KubeSphere默认就需要个默认存储，因此这里注解要设置为“默认”的存储系统，表示为"true"，代表默认。
provisioner: k8s-sigs.io/nfs-subdir-external-provisioner #存储分配器的名字，自定义
parameters:
archiveOnDelete: "true" ## 删除pv的时候，pv的内容是否要备份
---
apiVersion: apps/v1
kind: Deployment
metadata:
name: nfs-client-provisioner
labels:
app: nfs-client-provisioner
# replace with namespace where provisioner is deployed
namespace: default
spec:
replicas: 1 #只运行一个副本应用
strategy: #描述了如何用新的POD替换现有的POD
type: Recreate #Recreate表示重新创建Pod
selector: #选择后端Pod
matchLabels:
app: nfs-client-provisioner
template:
metadata:
labels:
app: nfs-client-provisioner
spec:
serviceAccountName: nfs-client-provisioner #创建账户
containers:
- name: nfs-client-provisioner
image: registry.cn-hangzhou.aliyuncs.com/lfy_k8s_images/nfs-subdir-external-provisioner:v4.0.2 #使用NFS存储分配器的镜像
# resources:
# limits:
# cpu: 10m
# requests:
# cpu: 10m
volumeMounts:
- name: nfs-client-root #定义个存储卷，
mountPath: /persistentvolumes #表示挂载容器内部的路径
env:
- name: PROVISIONER_NAME #定义存储分配器的名称
value: k8s-sigs.io/nfs-subdir-external-provisioner #需要和上面定义的保持名称一致
- name: NFS_SERVER #指定NFS服务器的地址，你需要改成你的NFS服务器的IP地址
value: 192.168.223.11 ## 指定自己nfs服务器地址
- name: NFS_PATH
value: /nfs/data ## nfs服务器共享的目录 #指定NFS服务器共享的目录
volumes:
- name: nfs-client-root #存储卷的名称，和前面定义的保持一致
nfs:
server: 192.168.223.11 #NFS服务器的地址，和上面保持一致，这里需要改为你的IP地址
path: /nfs/data #NFS共享的存储目录，和上面保持一致
---
apiVersion: v1
kind: ServiceAccount #创建个SA账号
metadata:
name: nfs-client-provisioner #和上面的SA账号保持一致
# replace with namespace where provisioner is deployed
namespace: default
---
#以下就是ClusterRole，ClusterRoleBinding，Role，RoleBinding都是权限绑定配置，不在解释。直接复制即可。
kind: ClusterRole
apiVersion: rbac.authorization.k8s.io/v1
metadata:
name: nfs-client-provisioner-runner
rules:
- apiGroups: [""]
resources: ["nodes"]
verbs: ["get", "list", "watch"]
- apiGroups: [""]
resources: ["persistentvolumes"]
verbs: ["get", "list", "watch", "create", "delete"]
- apiGroups: [""]
resources: ["persistentvolumeclaims"]
verbs: ["get", "list", "watch", "update"]
- apiGroups: ["storage.k8s.io"]
resources: ["storageclasses"]
verbs: ["get", "list", "watch"]
- apiGroups: [""]
resources: ["events"]
verbs: ["create", "update", "patch"]
---
kind: ClusterRoleBinding
apiVersion: rbac.authorization.k8s.io/v1
metadata:
name: run-nfs-client-provisioner
subjects:
- kind: ServiceAccount
name: nfs-client-provisioner
# replace with namespace where provisioner is deployed
namespace: default
roleRef:
kind: ClusterRole
name: nfs-client-provisioner-runner
apiGroup: rbac.authorization.k8s.io
---
kind: Role
apiVersion: rbac.authorization.k8s.io/v1
metadata:
name: leader-locking-nfs-client-provisioner
# replace with namespace where provisioner is deployed
namespace: default
rules:
- apiGroups: [""]
resources: ["endpoints"]
verbs: ["get", "list", "watch", "create", "update", "patch"]
---
kind: RoleBinding
apiVersion: rbac.authorization.k8s.io/v1
metadata:
name: leader-locking-nfs-client-provisioner
# replace with namespace where provisioner is deployed
namespace: default
subjects:
最低0.47元/天 解锁文章
扫一扫
1097
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
