背景
在本地集群安装kubesphere需要storageclass才能成功
首先检查自己机器是否有storageclass
- 执行如下命令,看返回信息,什么都没有的话,说明你需要进行下面步骤
kubectl get storageclass
- 下图是我已经装成功了的情况
解决
给集群配置默认得storageclass
搭建nfs服务器
先搭建nfs服务器
我的是centos7
- 安装nfs命令
yum install -y nfs-utils
- 创建存放数据的目录(目录可以自己定义)
mkdir -p /opt/k8s/data/vo1
- 设置挂载路径
# 打开文件
vim /etc/exports
# 添加如下内容
/opt/k8s/data/vo1 *(rw,no_root_squash)
启动nfs服务器
systemctl start nfs
检查启动状态
rpm -qa | grep nfs
rpm -qa | grep rpcbind
创建一个连接nfs服务器的客户端
自动创建的 PV 以${namespace}-${pvcName}-${pvName}这样的命名格式创建在 NFS 服务器上的共享数据目录中
而当这个 PV 被回收后会以archieved-${namespace}-${pvcName}-${pvName}这样的命名格式存在 NFS 服务器上。
要使用StorageClass,我们就得安装对应的自动配置程序,比如上面我们使用的是nfs,那么我们就需要使用到一个 nfs-client 的自动配置程序,我们也叫它 Provisioner,这个程序使用我们已经配置的nfs服务器,来自动创建持久卷,也就是自动帮我们创建PV
- 配置文件(nfs-client.yaml)
kind: Deployment
apiVersion: apps/v1
metadata:
name: nfs-client-provisioner
spec:
replicas: 1
selector:
matchLabels:
app: nfs-client-provisioner
strategy:
type: Recreate
template:
metadata:
labels:
app: nfs-client-provisioner
spec:
serviceAccountName: nfs-client-provisioner
containers:
- name: nfs-client-provisioner
image: quay.io/external_storage/nfs-client-provisioner:latest
volumeMounts:
- name: nfs-client-root
mountPath: /persistentvolumes
env:
- name: PROVISIONER_NAME
value: fuseim.pri/ifs
- name: NFS_SERVER
value: 192.168.1.100
- name: NFS_PATH
value: /opt/k8s/data/vo1
volumes:
- name: nfs-client-root
nfs:
server: 192.168.1.100
path: /opt/k8s/data/vo1
- 绑定nfs权限的配置文件(nfs-client-sa.yaml)可以对下面的verbs中列表中参数进行修改来修改权限
apiVersion: v1
kind: ServiceAccount
metadata:
name: nfs-client-provisioner
---
kind: ClusterRole
apiVersion: rbac.authorization.k8s.io/v1
metadata:
name: nfs-client-provisioner-runner
rules:
- apiGroups: [""]
resources: ["persistentvolumes"]
verbs: ["get", "list", "watch", "create", "delete"]
- apiGroups: [""]
resources: ["persistentvolumeclaims"]
verbs: ["get", "list", "watch", "update"]
- apiGroups: ["storage.k8s.io"]
resources: ["storageclasses"]
verbs: ["get", "list", "watch"]
- apiGroups: [""]
resources: ["events"]
verbs: ["list", "watch", "create", "update", "patch"]
- apiGroups: [""]
resources: ["endpoints"]
verbs: ["create", "delete", "get", "list", "watch", "patch", "update"]
---
kind: ClusterRoleBinding
apiVersion: rbac.authorization.k8s.io/v1
metadata:
name: run-nfs-client-provisioner
subjects:
- kind: ServiceAccount
name: nfs-client-provisioner
namespace: default
roleRef:
kind: ClusterRole
name: nfs-client-provisioner-runner
apiGroup: rbac.authorization.k8s.io
创建storegeclass对象配置文件(nfs-client-class.yaml)
apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
name: course-nfs-storage
provisioner: fuseim.pri/ifs # 和上图配置文件中PROVISIONER_NAME的一直
创建资源对象
kubectl create -f nfs-client.yaml
kubectl create -f nfs-client-sa.yaml
kubectl create -f nfs-client-class.yaml
检查资源状态(因为是创建的default命名空间,所以可以用下面命令直接查询)
kubectl get pods
# 查看存储类
kubectl get storageclass
设置storage为k8s默认存储(下名命令中course-nfs-storage 需要和自己storageclass名称的一致即可)
kubectl patch storageclass course-nfs-storage -p '{"metadata": {"annotations":{"storageclass.kubernetes.io/is-default-class":"true"}}}'
遇到问题
- 创建pvc时,发现一直pending,不能创建成功
解决
- 使用命令查看当前pvc的状态信息,发现时在等待volume的创建
kubectl describe pvc
- 再使用命令查看nfs-client-provisioner的日志发现时seltlink was empty的问题,网上说时k8s1.16以后已经弃用,我的时1.21.5版本
- 知道问题所在,那么就解决一下
1、使用命令查找一下 kube-apiserver.yaml的位置find / -name kube-apiserver.yaml
2、在文件中添加 - --feature-gates=RemoveSelfLink=false
,如下图
3、推出保存即可,等待一会就好了
新版本集群,1.26版本之后这么配置集群会启动不了(解决方式如下)
使用helm安装nfs驱动
安装helm(直接在github地址上选择自己操作系统对应的包下载,解压,放到/usr/bin目录下即可)
#添加helm源
helm repo add nfs-subdir-external-provisioner https://kubernetes-sigs.github.io/nfs-subdir-external-provisioner
#创建个namespace(可选,主要是为了查看资源方便)
kubectl create ns nfs-sc-default
# 安装nfs驱动
helm install nfs-subdir-external-provisioner nfs-subdir-external-provisioner/nfs-subdir-external-provisioner --set storageClass.name=nfs-sc-default --set nfs.server=192.168.1.102 --set nfs.path=/data/storage --set storageClass.defaultClass=true -n nfs-sc-default
检查是否安装成功
kubectl get sc
kubectl get pods -n nfs-sc-default