kubernetes存储的Volumes配置管理
volumes简介
- 容器中的文件在磁盘上是临时存放的,这给容器中运行的特殊应用程序带来一些问题。首先,当容器崩溃时,kubelet 将重新启动容器,容器中的文件将会丢失,因为容器会以干净的状态重建。其次,当在一个 Pod 中同时运行多个容器时,常常需要在这些容器之间共享文件。Kubernetes 抽象出 Volume 对象来解决这两个问题。
- Kubernetes卷具有明确的生命周期,与包裹它的 Pod 相同。 因此,卷比 Pod 中运行的任何容器的存活期都长,在容器重新启动时数据也会得到保留。 当然,当一个 Pod 不再存在时,卷也将不再存在。也许更重要的是,Kubernetes 可以支持许多类型的卷,Pod 也能同时使用任意数量的卷。
- 卷不能挂载到其他卷,也不能与其他卷有硬链接。 Pod 中的每个容器必须独立地指定每个卷的挂载位置。
Kubernetes 支持下列类型的卷
- awsElasticBlockStore 、azureDisk、azureFile、cephfs、cinder、configMap、csi
- downwardAPI、emptyDir、fc (fibre channel)、flexVolume、flocker
- gcePersistentDisk、gitRepo (deprecated)、glusterfs、hostPath、iscsi、local、
- nfs、persistentVolumeClaim、projected、portworxVolume、quobyte、rbd
- scaleIO、secret、storageos、vsphereVolume
emptyDir卷
- 当 Pod 指定到某个节点上时,首先创建的是一个 emptyDir 卷,并且只要 Pod 在该节点上运行,卷就一直存在。 就像它的名称表示的那样,卷最初是空的。 尽管 Pod 中的容器挂载 emptyDir 卷的路径可能相同也可能不同,但是这些容器都可以读写 emptyDir 卷中相同的文件。 当 Pod 因为某些原因被从节点上删除时,emptyDir 卷中的数据也会永久删除。
说明: 容器崩溃并不会导致 Pod 被从节点上移除,因此容器崩溃期间 emptyDir 卷中的数据是安全的。- emptyDir 的使用场景:
- 缓存空间,例如基于磁盘的归并排序。
- 为耗时较长的计算任务提供检查点,以便任务能方便地从崩溃前状态恢复执行。
- 在 Web 服务器容器服务数据时,保存内容管理器容器获取的文件。
- 默认情况下, emptyDir 卷存储在支持该节点所使用的介质上;这里的介质可以是磁盘或 SSD 或网络存储,这取决于您的环境。 但是,您可以将 emptyDir.medium 字段设置为 “Memory”,以告诉 Kubernetes 为您安装 tmpfs(基于内存的文件系统)。 虽然 tmpfs 速度非常快,但是要注意它与磁盘不同。 tmpfs 在节点重启时会被清除,并且您所写入的所有文件都会计入容器的内存消耗,受容器内存限制约束。
说明: 当启用 SizeMemoryBackedVolumes 特性门控时, 你可以为基于内存提供的卷指定大小。 如果未指定大小,则基于内存的卷的大小为 Linux 主机上内存的 50%。
emptyDir的一个例子
在一个卷中,可以挂载到不同容器中
同一个pod中的容器,数据共享
访问vm2 vm1数据
[root@server2 volumes]# cat emptydir.yaml
apiVersion: v1
kind: Pod
metadata:
name: vol1
spec:
containers:
- image: busyboxplus
name: vm1
stdin: true
tty: true
volumeMounts:
- mountPath: /cache
name: cache-volume
- name: vm2
image: myapp:v1
volumeMounts:
- mountPath: /usr/share/nginx/html
name: cache-volume
volumes:
- name: cache-volume
emptyDir:
medium: Memory
sizeLimit: 100Mi
[root@server2 volumes]# kubectl apply -f emptydir.yaml ##应用
[root@server2 volumes]# kubectl get pod
NAME READY STATUS RESTARTS AGE
vol1 2/2 Running 0 7s
[root@server2 volumes]# kubectl describe pod vol1 ##查看挂载详细信息
[root@server2 volumes]# kubectl attach vol1 -c vm1 -it ##设置空卷中的信息
/ # cd cache/
/cache # echo www.westos.org > index.html
/cache # curl localhost
www.westos.org
/cache # Session ended, resume using 'kubectl attach vol1 -c vm1 -i -t' command when the pod is running
[root@server2 volumes]# kubectl get pod -o wide
NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES
vol1 2/2 Running 1 3m49s 10.244.141.205 server3 <none> <none>
[root@server2 volumes]# curl 10.244.141.205 ##访问信息
www.westos.org
当文件超过sizelimit,pod会被驱逐(有时延,有风险会占用大内存)
可以看到文件超过sizeLimit,则一段时间后(1-2分钟)会被kubelet evict掉。之所以不是“立即”被evict,是因为kubelet是定期进行检查的,这里会有一个时间差。
$ kubectl exec vol1 -it sh
/ # dd if=/dev/zero of=/cache/bigfile bs=1M count=200
200+0 records in
200+0 records out
$ kubectl get pod -o wide
NAME READY STATUS RESTARTS AGE IP NODE
vol1 0/1 Evicted 0 98s <none> server2
emptydir缺点:
- 不能及时禁止用户使用内存。虽然过1-2分钟kubelet会将Pod挤出,但是这个时间内,其实对node还是有风险的;
- 影响kubernetes调度,因为empty dir并不涉及node的resources,这样会造成Pod“偷偷”使用了node的内存,但是调度器并不知晓;
- 用户不能及时感知到内存不可用
hostPath卷
hostPath卷说明
- hostPath 卷能将主机节点文件系统上的文件或目录挂载到你的 Pod 中。 虽然这不是大多数 Pod 需要的,但是它为一些应用程序提供了强大的逃生舱。(把容器的数据放在宿主机上)
- hostPath 的一些用法有:
- 运行一个需要访问 Docker 引擎内部机制的容器,挂载 /var/lib/docker 路径。
- 在容器中运行 cAdvisor 时,以 hostPath 方式挂载 /sys。 监控宿主机占用
- 允许 Pod 指定给定的 hostPath 在运行 Pod 之前是否应该存在,是否应该创建以及应该以什么方式存在。
除了必需的 path 属性之外,用户可以选择性地为 hostPath 卷指定 type。支持的 type 值如下:
当使用这种类型的卷时要小心,因为:
- 具有相同配置(例如从 podTemplate 创建)的多个 Pod 会由于节点上文件的不同而在不同节点上有不同的行为。(路径一样,文件内容可能不一样)
- 当 Kubernetes 按照计划添加资源感知的调度时,这类调度机制无法考虑由 hostPath 使用的资源。
- 基础主机上创建的文件或目录只能由 root 用户写入。您需要在 特权容器 中以 root 身份运行进程,或者修改主机上的文件权限以便容器能够写入 hostPath 卷。
hostPath卷示例
[root@server2 volumes]# kubectl delete pod vol1 ##删除前一个实验pod
[root@server2 volumes]# cat hostpath.yaml
apiVersion: v1
kind: Pod
metadata:
name: test-pd
spec:
containers:
- image: myapp:v1
name: vm1
volumeMounts:
- mountPath: /usr/share/nginx/html ##将此路径挂载到/webdata
name: test-volume
volumes:
- name: test-volume
hostPath:
path: /webdata
type: DirectoryOrCreate ##没有文件夹创建文件夹
测试
[root@server2 volumes]# kubectl apply -f hostpath.yaml ##应用
[root@server2 volumes]# kubectl get pod ##查看
[root@server2 volumes]# kubectl get pod -o wide ##查看挂载到哪个节点,这里是server3
NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES
test-pd 1/1 Running 0 56s 10.244.141.206 server3 <none>
##查看server3上是否存在/webdata,并书写测试文件
[root@server3 ~]# cd /webdata/
[root@server3 webdata]# echo www.westos.org > index.html
[root@server3 webdata]# cat index.html
www.westos.org
##测试
[root@server2 volumes]# curl 10.244.141.206
www.westos.org
[root@server2 volumes]# kubectl delete -f hostpath.yaml ##删除之后server3上的/webdata文件内容仍然存在,所以称为逃生仓
NFS卷
NFS卷说明
之前博客的NFS配置.
nfs 卷能将 NFS (网络文件系统) 挂载到你的 Pod 中。 不像 emptyDir 那样会在删除 Pod 的同时也会被删除,nfs 卷的内容在删除 Pod 时会被保存,卷只是被卸载。 这意味着 nfs 卷可以被预先填充数据,并且这些数据可以在 Pod 之间共享。
注意: 在使用 NFS 卷之前,你必须运行自己的 NFS 服务器并将目标 share 导出备用。
NFS卷示例
pod调度到哪个节点上,从远端server1 mount,再挂载到pod内,
server1,server3: nfs服务,关闭火墙,yum install nfs-utils -y
[root@server1 ~]# vim /etc/exports
[root@server1 ~]# cat /etc/exports
/nfsdata *(rw,no_root_squash)
[root@server1 ~]# systemctl enable --now nfs
[root@server3 ~]# systemctl enable --now nfs
[root@server1 ~]# showmount -e
Export list for server1:
/nfsdata *
[root@server1 ~]# cd /nfsdata/
[root@server1 nfsdata]# ls
config server2 vol1
[root@server1 nfsdata]# rm -fr *
[root@server1 nfsdata]# echo www.westos.org > index.html
[root@server2 volumes]# cat nfs.yaml
apiVersion: v1
kind: Pod
metadata:
name: nfs-pd
spec:
containers:
- image: myapp:v1
name: vm1
volumeMounts:
- mountPath: /usr/share/nginx/html
name: test-volume
volumes:
- name: test-volume
nfs:
server: 172.25.10.1
path: /nfsdata #与server1上的路径一致
[root@server2 volumes]# kubectl apply -f nfs.yml