kubernetes——存储之Volumes配置管理
一、Volumes的简介
1、问题引入
容器中的文件在磁盘上是临时存放的,这给容器中运行的特殊应用程序带来一些问题。
首先,当容器崩溃时,kubelet 将重新启动容器,容器中的文件将会丢失,因为容器会以纯净的状态重建。
其次,当在一个 Pod 中同时运行多个容器时,常常需要在这些容器之间共享文件。
2、Kubernetes 抽象出 Volume 对象来解决这两个问题。
- Kubernetes 卷具有明确的生命周期,与包裹它的 Pod 相同。所以卷比 Pod 中运行的任何容器的存活期都长,在容器重新启动时数据也会得到保留。
- 当一个 Pod 不再存在时,卷也将不再存在。同时Kubernetes 可以支持许多类型的卷,Pod 也能同时使用任意数量的卷。
- 卷不能挂载到其他卷,也不能与其他卷有硬链接。 Pod 中的每个容器必须独立地指定每个卷的挂载位置。
3、Kubernetes 支持下列类型的卷:
- awsElasticBlockStore 、azureDisk、azureFile、cephfs、cinder、configMap、csi
- downwardAPI、emptyDir、fc (fibre channel)、flexVolume、flocker
- gcePersistentDisk、gitRepo (deprecated)、glusterfs、hostPath、iscsi、local
- nfs、persistentVolumeClaim、projected、portworxVolume、quobyte、rbd
- scaleIO、secret、storageos、vsphereVolume
4、官方参考文档:https://kubernetes.io/zh/docs/concepts/storage/volumes/
二、emptyDir卷
1、emptyDir的引入
当 Pod 指定到某个节点上时,首先创建的是一个 emptyDir 卷,并且只要 Pod 在该节点上运行,卷就一直存在。 就像它的名称表示的那样,卷最初是空的。 尽管 Pod 中的容器挂载 emptyDir 卷的路径可能相同也可能不同,但是这些容器都可以读写 emptyDir 卷中相同的文件。 当 Pod 因为某些原因被从节点上删除时,emptyDir 卷中的数据也会永久删除。
2、emptyDir 的使用场景
- 缓存空间,例如基于磁盘的归并排序。
- 为耗时较长的计算任务提供检查点,以便任务能方便地从崩溃前状态恢复执行。
- 在 Web 服务器容器服务数据时,保存内容管理器容器获取的文件。
默认情况下, emptyDir 卷存储在支持该节点所使用的介质上;这里的介质可以是磁盘或 SSD 或网络存储,这取决于您的环境。 但是,您可以将 emptyDir.medium 字段设置为 “Memory”,以告诉 Kubernetes 为您安装 tmpfs(基于内存的文件系统)。 虽然 tmpfs 速度非常快,但是要注意它与磁盘不同。 tmpfs 在节点重启时会被清除,并且您所写入的所有文件都会计入容器的内存消耗,受容器内存限制约束。
3、多容器共享volumes
- 创建一个包含busyboxplus和nginx的pod,同时限制emptyDir的大小为100Mi
mkdir volumes
cd volumes/
vim vol1.yaml
apiVersion: v1
kind: Pod
metadata:
name: vol1
spec:
containers:
- image: busyboxplus
name: vm1
command: ["sleep", "300"]
volumeMounts:
- mountPath: /cache
name: cache-volume
- name: vm2
image: nginx
volumeMounts:
- mountPath: /usr/share/nginx/html
name: cache-volume
volumes:
- name: cache-volume
emptyDir:
medium: Memory
sizeLimit: 100Mi
- 执行清单,查看pod
kubectl apply -f vol1.yaml
kubectl get pod -o wide
- 进入nginx容器,编写发布文件
-c
:指定容器
kubectl exec -it vol1 sh -c vm2
- 进入busyboxplus容器,观察到文件已经共享,也可以访问
- 说明两个容器的卷是共享的
kubectl exec -it vol1 sh -c vm1
- 创建一个200Mi的文件,测试emptyDir的限制,观察到pod为
Evicted
状态
kubectl exec -it vol1 sh -c vm1
dd if=/dev/zero of=/cache/bigfile bs=1M count=200
kubectl get pod -o wide
当文件超过sizeLimit后,pod不会“立即”被evict,是因为kubelet是定期进行检查的,会存在一个时间差。
4、emptyDir缺点
- 不能及时禁止用户使用内存。虽然过1-2分钟kubelet会将Pod挤出,但是这个时间内,其实对node还是有风险的
- 影响kubernetes调度,因为empty dir并不涉及node的resources,这样会造成Pod“偷偷”使用了node的内存,但是调度器并不知晓
- 用户不能及时感知到内存不可用
三、hostPath卷
1、hostPath卷简介
- hostPath 卷能将node主机节点文件系统上的文件或目录挂载到node上的的Pod 中。 虽然这不是大多数 Pod 需要的,但是它为一些应用程序提供了强大的逃生舱。
- hostPath 的用法
(1)容器应用程序生成的日志文件需要永久保存时,可以使用宿主机的高速文件系统进行存储。
(2)需要访问宿主机上Docker引擎内部数据结构的容器应用时,可以通过定义hostPath为宿主机/var/lib/docker
目录,使容器内部应用可以直接访问Docker的文件系统。 - hostPath 卷的 type
除了必需的 path 属性之外,用户可以选择性地为 hostPath 卷指定 type
- 使用卷时的注意事项
(1)具有相同配置(例如从 podTemplate 创建)的多个 Pod 会由于节点上文件的不同而在不同节点上有不同的行为。
(2)当 Kubernetes 按照计划添加资源感知的调度时,这类调度机制将无法考虑由 hostPath 使用的资源。
(3)基础主机上创建的文件或目录只能由 root 用户写入。您需要在 特权容器 中以 root 身份运行进程,或者修改主机上的文件权限以便容器能够写入 hostPath 卷。
2、创建hostPath卷
/data
目录会自动创建
kubectl delete -f vol1.yaml ##删除刚刚创建的vol1
vim host.yaml
apiVersion: v1
kind: Pod
metadata:
name: test-pd
spec:
containers:
- image: nginx
name: test-container
volumeMounts:
- mountPath: /test-pd
name: test-volume
volumes:
- name: test-volume
hostPath:
path: /data
type: DirectoryOrCreate
- 应用清单,在node上查看生成的目录,并添加文件
kubectl apply -f host.yaml
kubectl get pod -o wide
cd /data/
echo linux > index.html
- 进入pod中的容器,查看到有相同文件
- 说明node主机上的目录挂载到pod容器中的目录
kubectl exec test-pd -it sh
3、NFS共享文件
- 在server1~server4上安装nfs,并设定开机自启
yum install -y nfs-utils
systemctl enable --now nfs
- 在server1上配置nfs,在server2上查看
vim /etc/exports
/mnt/nfs *(rw,no_root_squash)
showmount -e ##测试共享点
showmount -e 172.25.24.1
- 编辑yaml文件,添加server1的nfs
kubectl delete -f host.yaml ##删除刚刚创建的pod
vim nfs.yaml
apiVersion: v1
kind: Pod
metadata:
name: test-pd
spec:
containers:
- image: nginx
name: test-container
volumeMounts:
- mountPath: /usr/share/nginx/html
name: test-volume
volumes:
- name: test-volume
nfs:
server: 172.25.24.1
path: /mnt/nfs
- 应用清单,进入pod的容器内挂载目录,添加文件
kubectl apply -f nfs.yaml
kubectl get pod -o wide
kubectl exec test-pd -it sh
- 在server1的nfs目录中查看,并访问pod的ip,发现相同内容
- 说明server1的nfs挂载于pod中容器的挂载目录
cd /mnt/nfs/
cat index.html
curl 10.244.1.92
四、PersistentVolume(持久卷)
1、PV与PVC
- PersistentVolume(持久卷,简称PV)是集群内,由管理员提供的网络存储的一部分。就像集群中的节点一样,PV也是集群中的一种资源。它也像Volume一样,是一种volume插件,但是它的生命周期却是和使用它的Pod相互独立的。PV这个API对象,捕获了诸如NFS、ISCSI、或其他云存储系统的实现细节。
- PersistentVolumeClaim(持久卷声明,简称PVC)是用户的一种存储请求。它和Pod类似,Pod消耗Node资源,而PVC消耗PV资源。Pod能够请求特定的资源(如CPU和内存)。PVC能够请求指定的大小和访问的模式(可以被映射为一次读写或者多次只读)。
- 有两种PV提供的方式:静态和动态
(1)静态PV:集群管理员创建多个PV,它们携带着真实存储的详细信息,这些存储对于集群用户是可用的。它们存在于Kubernetes API中,并可用于存储使用。
(2)动态PV:当管理员创建的静态PV都不匹配用户的PVC时,集群可能会尝试专门地供给volume给PVC。这种供给基于StorageClass。 - PVC与PV的绑定是一对一的映射。没找到匹配的PV,那么PVC会无限期得处于unbound未绑定状态。
2、PV的使用过程
- 使用
Pod使用PVC就像使用volume一样。集群检查PVC,查找绑定的PV,并映射PV给Pod。对于支持多种访问模式的PV,用户可以指定想用的模式。一旦用户拥有了一个PVC,并且PVC被绑定,那么只要用户还需要,PV就一直属于这个用户。用户调度Pod,通过在Pod的volume块中包含PVC来访问PV。 - 释放
当用户使用PV完毕后,他们可以通过API来删除PVC对象。当PVC被删除后,对应的PV就被认为是已经是“released”了,但还不能再给另外一个PVC使用。前一个PVC的属于还存在于该PV中,必须根据策略来处理掉。 - 回收
PV的回收策略告诉集群,在PV被释放之后集群应该如何处理该PV。当前,PV可以被Retained(保留)、 Recycled(再利用)或者Deleted(删除)。保留允许手动地再次声明资源。对于支持删除操作的PV卷,删除操作会从Kubernetes中移除PV对象,还有对应的外部存储(如AWS EBS,GCE PD,Azure Disk,或者Cinder volume)。动态供给的卷总是会被删除。
3、PV的访问模式
- ReadWriteOnce – 该volume只能被单个节点以读写的方式映射
- ReadOnlyMany – 该volume可以被多个节点以只读方式映射
- ReadWriteMany – 该volume可以被多个节点以读写的方式映射
- 在命令行中,访问模式可以简写为:
(1)RWO - ReadWriteOnce
(2)ROX - ReadOnlyMany
(3)RWX - ReadWriteMany
4、PV的回收策略
- Retain:保留,需要手动回收
- Recycle:回收,自动删除卷中数据
- Delete:删除,相关联的存储资产,如AWS EBS,GCE PD,Azure Disk,or OpenStack Cinder卷都会被删除
- 当前,只有NFS和HostPath支持回收利用,AWS EBS,GCE PD,Azure Disk,or OpenStack Cinder卷支持删除操作。
5、PV的状态
- Available:空闲的资源,未绑定给PVC
- Bound:绑定给了某个PVC
- Released:PVC已经删除了,但是PV还没有被集群回收
- Failed:PV在自动回收中失败了
- 命令行可以显示PV绑定的PVC名称
6、NFS持久化存储实战(静态)
(1)安装配置NFS服务
yum install -y nfs-utils
mkdir -m 777 /mnt/nfs
vim /etc/exports
/mnt/nfs *(rw,sync,no_root_squash)
systemctl enable --now rpcbind
systemctl enable --now nfs
(2)创建静态NFS PV卷
vim pv1.yaml
apiVersion: v1
kind: PersistentVolume
metadata:
name: nfs-pv1
spec:
capacity:
storage: 5Gi
volumeMode: Filesystem
accessModes:
- ReadWriteOnce
persistentVolumeReclaimPolicy: Recycle
storageClassName: nfs
nfs:
path: /mnt/nfs
server: 172.25.24.1
- 应用清单,查看pv,观察到共享到server1的nfs文件系统
kubectl apply -f pv1.yaml
kubectl get pv
kubectl describe pv nfs-pv1
(3)创建PVC
vim pvc1.yaml
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
name: pvc1
spec:
storageClassName: nfs
accessModes:
- ReadWriteOnce
resources:
requests:
storage: 1Gi
- 应用清单,查看到pvc和pv已相互绑定
kubectl apply -f pvc1.yaml
kubectl get pvc
kubectl get pv
(4)创建Pod挂载PV
vim pod1.yaml
apiVersion: v1
kind: Pod
metadata:
name: test-pd
spec:
containers:
- image: nginx
name: nginx
volumeMounts:
- mountPath: /usr/share/nginx/html
name: pv1
volumes:
- name: pv1
persistentVolumeClaim:
claimName: pvc1
- 应用清单,在pod的容器中添加文件,访问pod的ip,在server1的nfs上查看
kubectl apply -f pod1.yaml
kubectl get pod
kubectl exec test-pd -it sh
curl 10.244.1.96
cd /mnt/nfs/
cat index.html
(5)删除pvc,pv存在
- 需要先删除pod,删除pvc后,pv的状态为
Released
,依旧和pvc绑定
kubectl delete -f pod1.yaml
kubectl delete -f pvc1.yaml
kubectl get pv
7、NFS持久化存储实战(动态)
动态PV:当管理员创建的静态PV都不匹配用户的PVC时,集群可能会尝试专门地供给volume给PVC。这种供给基于StorageClass。
(1)StorageClass
- StorageClass提供了一种描述存储类(class)的方法,不同的class可能会映射到不同的服务质量等级和备份策略或其他策略等。
- 每个 StorageClass 都包含 provisioner、parameters 和 reclaimPolicy 字段, 这些字段会在StorageClass需要动态分配 PersistentVolume 时会使用到。
StorageClass的属性:
- Provisioner(存储分配器):用来决定使用哪个卷插件分配 PV,该字段必须指定。可以指定内部分配器,也可以指定外部分配器。外部分配器的代码地址为: kubernetes-incubator/external-storage,其中包括NFS和Ceph等。
- Reclaim Policy(回收策略):通过reclaimPolicy字段指定创建的Persistent Volume的回收策略,回收策略包括:Delete 或者 Retain,没有指定默认为Delete。
- 官方文档:https://kubernetes.io/zh/docs/concepts/storage/storage-classes/
(2)NFS Client Provisioner
- NFS Client Provisioner是一个automatic provisioner,使用NFS作为存储,自动创建PV和对应的PVC,本身不提供NFS存储,需要外部先有一套NFS存储服务。
- PV以
${namespace}-${pvcName}-${pvName}
的命名格式提供(在NFS服务器上) - PV回收的时候以
$archieved-${namespace}-${pvcName}-${pvName}
的命名格式(在NFS服务器上) - nfs-client-provisioner源码地址:https://github.com/kubernetes-incubator/external-storage/tree/master/nfs-client
(3)将nfs镜像导入仓库
docker load -i nfs-client-provisioner-v4.0.0.tar
docker push reg.westos.org/library/nfs-subdir-external-provisioner:v4.0.0
(4)编辑部署nfs文件
- 文件须提前从官网下载
- 指定nfs的nfs server端和ip
- 指定删除后是否打包备份,
true
为打包,false
为不打包
mkdir nfs-client
mv ../nfs-client-provisioner.yaml .
vim nfs-client-provisioner.yaml
apiVersion: v1
kind: ServiceAccount
metadata:
name: nfs-client-provisioner
# replace with namespace where provisioner is deployed
namespace: nfs-client-provisioner
---
kind: ClusterRole
apiVersion: rbac.authorization.k8s.io/v1
metadata:
name: nfs-client-provisioner-runner
rules:
- apiGroups: [""]
resources: ["nodes"]
verbs: ["get", "list", "watch"]
- apiGroups: [""]
resources: ["persistentvolumes"]
verbs: ["get", "list", "watch", "create", "delete"]
- apiGroups: [""]
resources: ["persistentvolumeclaims"]
verbs: ["get", "list", "watch", "update"]
- apiGroups: ["storage.k8s.io"]
resources: ["storageclasses"]
verbs: ["get", "list", "watch"]
- apiGroups: [""]
resources: ["events"]
verbs: ["create", "update", "patch"]
---
kind: ClusterRoleBinding
apiVersion: rbac.authorization.k8s.io/v1
metadata:
name: run-nfs-client-provisioner
subjects:
- kind: ServiceAccount
name: nfs-client-provisioner
# replace with namespace where provisioner is deployed
namespace: nfs-client-provisioner
roleRef:
kind: ClusterRole
name: nfs-client-provisioner-runner
apiGroup: rbac.authorization.k8s.io
---
kind: Role
apiVersion: rbac.authorization.k8s.io/v1
metadata:
name: leader-locking-nfs-client-provisioner
# replace with namespace where provisioner is deployed
namespace: nfs-client-provisioner
rules:
- apiGroups: [""]
resources: ["endpoints"]
verbs: ["get", "list", "watch", "create", "update", "patch"]
---
kind: RoleBinding
apiVersion: rbac.authorization.k8s.io/v1
metadata:
name: leader-locking-nfs-client-provisioner
# replace with namespace where provisioner is deployed
namespace: nfs-client-provisioner
subjects:
- kind: ServiceAccount
name: nfs-client-provisioner
# replace with namespace where provisioner is deployed
namespace: nfs-client-provisioner
roleRef:
kind: Role
name: leader-locking-nfs-client-provisioner
apiGroup: rbac.authorization.k8s.io
---
apiVersion: apps/v1
kind: Deployment
metadata:
name: nfs-client-provisioner
labels:
app: nfs-client-provisioner
# replace with namespace where provisioner is deployed
namespace: nfs-client-provisioner
spec:
replicas: 1
strategy:
type: Recreate
selector:
matchLabels:
app: nfs-client-provisioner
template:
metadata:
labels:
app: nfs-client-provisioner
spec:
serviceAccountName: nfs-client-provisioner
containers:
- name: nfs-client-provisioner
image: nfs-subdir-external-provisioner:v4.0.0
volumeMounts:
- name: nfs-client-root
mountPath: /persistentvolumes
env:
- name: PROVISIONER_NAME
value: westos.org/nfs
- name: NFS_SERVER
value: 172.25.24.1
- name: NFS_PATH
value: /mnt/nfs
volumes:
- name: nfs-client-root
nfs:
server: 172.25.24.1
path: /mnt/nfs
---
apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
name: managed-nfs-storage
provisioner: westos.org/nfs
parameters:
archiveOnDelete: "true"
(5)创建namespace
- 引用清单,查看sc和ns
kubectl create namespace nfs-client-provisioner
kubectl apply -f nfs-client-provisioner.yaml
kubectl get sc
kubectl get ns
(6)创建PVC,自动生成PV
- 指定sc为
managed-nfs-storage
vim test-pvc.yaml
kind: PersistentVolumeClaim
apiVersion: v1
metadata:
name: test-claim
spec:
storageClassName: managed-nfs-storage
accessModes:
- ReadWriteMany
resources:
requests:
storage: 1Gi
- 应用清单,查看是否自动生成PV,以及nfs的server端挂载目录
kubectl apply -f test-pvc.yaml
kubectl get pv
kubectl get pvc
- 在nfs的server端挂载目录处,发现一子目录
cd /mnt/nfs/default-test-claim-pvc-623c2ad1-476b-4560-bf7c-c9a3d562a6da/
echo www.westos.org > index.html
(7)删除PVC,自动删除PV
- 删除pvc后,pv会自动被删除
kubectl delete -f test-pvc.yaml
kubectl get pvc
kubectl get pv
- 在nfs的server端查看,发现子目录被打包备份
cd /mnt/nfs
ls
cd archived-pvc-623c2ad1-476b-4560-bf7c-c9a3d562a6da/
cat index.html
(8)创建测试pod
vim pod.yaml
apiVersion: v1
kind: Pod
metadata:
name: test-pd-2
spec:
containers:
- image: nginx
name: nginx
volumeMounts:
- mountPath: /usr/share/nginx/html
name: pv2
volumes:
- name: pv2
persistentVolumeClaim:
claimName: test-claim
- 先删除之前的sc,再修改nfs的部署文件,令删除后不打包
kubectl delete sc managed-nfs-storage
vim nfs-client-provisioner.yaml
116 archiveOnDelete: "false"
kubectl apply -f nfs-client-provisioner.yaml
- 应用pvc和pod清单,访问生成pod的ip
kubectl apply -f test-pvc.yaml
kubectl apply -f pod.yaml
kubectl get pod -o wide
curl 10.244.1.16
- 在nfs的server端写入内容后,再次访问,可以访问到相同内容
cd default-test-claim-pvc-e37afbf2-1b82-46ad-b5f5-c21df7318787/
echo skk > index.html
curl 10.244.1.16
- 删除pod和pvc,pv同样被删除,此时不会再有打包备份
kubectl delete -f pod.yaml
kubectl delete -f test-pvc.yaml
kubectl get pod
kubectl get pvc
kubectl get pv
(9)设定sc为默认状态
- 默认的 StorageClass 将被用于动态的为没有特定 storage class 需求的 PersistentVolumeClaims 配置存储:(只能有一个默认StorageClass)
- 如果没有默认StorageClass,PVC 也没有指定storageClassName 的值,那么意味着它只能够跟 storageClassName 对应的 PV 进行绑定
kubectl patch storageclass managed-nfs-storage -p '{"metadata": {"annotations":{"storageclass.kubernetes.io/is-default-class":"true"}}}'
kubectl get sc