kubernetes——存储之Volumes配置管理

一、Volumes的简介

1、问题引入

容器中的文件在磁盘上是临时存放的，这给容器中运行的特殊应用程序带来一些问题。
首先，当容器崩溃时，kubelet 将重新启动容器，容器中的文件将会丢失,因为容器会以纯净的状态重建。
其次，当在一个 Pod 中同时运行多个容器时，常常需要在这些容器之间共享文件。

2、Kubernetes 抽象出 Volume 对象来解决这两个问题。

• Kubernetes 卷具有明确的生命周期，与包裹它的 Pod 相同。所以卷比 Pod 中运行的任何容器的存活期都长，在容器重新启动时数据也会得到保留。
• 当一个 Pod 不再存在时，卷也将不再存在。同时Kubernetes 可以支持许多类型的卷，Pod 也能同时使用任意数量的卷。
• 卷不能挂载到其他卷，也不能与其他卷有硬链接。 Pod 中的每个容器必须独立地指定每个卷的挂载位置。

3、Kubernetes 支持下列类型的卷：

• awsElasticBlockStore 、azureDisk、azureFile、cephfs、cinder、configMap、csi
• downwardAPI、emptyDir、fc (fibre channel)、flexVolume、flocker
• gcePersistentDisk、gitRepo (deprecated)、glusterfs、hostPath、iscsi、local
• nfs、persistentVolumeClaim、projected、portworxVolume、quobyte、rbd
• scaleIO、secret、storageos、vsphereVolume

4、官方参考文档：https://kubernetes.io/zh/docs/concepts/storage/volumes/

二、emptyDir卷

1、emptyDir的引入

当 Pod 指定到某个节点上时，首先创建的是一个 emptyDir 卷，并且只要 Pod 在该节点上运行，卷就一直存在。 就像它的名称表示的那样，卷最初是空的。 尽管 Pod 中的容器挂载 emptyDir 卷的路径可能相同也可能不同，但是这些容器都可以读写 emptyDir 卷中相同的文件。 当 Pod 因为某些原因被从节点上删除时，emptyDir 卷中的数据也会永久删除。

2、emptyDir 的使用场景

• 缓存空间，例如基于磁盘的归并排序。
• 为耗时较长的计算任务提供检查点，以便任务能方便地从崩溃前状态恢复执行。
• 在 Web 服务器容器服务数据时，保存内容管理器容器获取的文件。

默认情况下， emptyDir 卷存储在支持该节点所使用的介质上；这里的介质可以是磁盘或 SSD 或网络存储，这取决于您的环境。 但是，您可以将 emptyDir.medium 字段设置为 “Memory”，以告诉 Kubernetes 为您安装 tmpfs（基于内存的文件系统）。 虽然 tmpfs 速度非常快，但是要注意它与磁盘不同。 tmpfs 在节点重启时会被清除，并且您所写入的所有文件都会计入容器的内存消耗，受容器内存限制约束。

3、多容器共享volumes

• 创建一个包含busyboxplus和nginx的pod，同时限制emptyDir的大小为100Mi

mkdir volumes
cd volumes/
vim vol1.yaml

apiVersion: v1
kind: Pod
metadata:
  name: vol1
spec:
  containers:
  - image: busyboxplus
    name: vm1
    command: ["sleep", "300"]
    volumeMounts:
    - mountPath: /cache
      name: cache-volume
  - name: vm2
    image: nginx
    volumeMounts:
    - mountPath: /usr/share/nginx/html
      name: cache-volume
  volumes:
  - name: cache-volume
    emptyDir:
      medium: Memory
      sizeLimit: 100Mi

• 执行清单，查看pod

kubectl apply -f vol1.yaml
kubectl get pod -o wide

• 进入nginx容器，编写发布文件
• -c：指定容器

kubectl exec -it  vol1 sh -c vm2

• 进入busyboxplus容器，观察到文件已经共享，也可以访问
• 说明两个容器的卷是共享的

kubectl exec -it  vol1 sh -c vm1

• 创建一个200Mi的文件，测试emptyDir的限制，观察到pod为Evicted状态

kubectl exec -it  vol1 sh -c vm1

dd if=/dev/zero of=/cache/bigfile bs=1M count=200

kubectl get pod -o wide

当文件超过sizeLimit后，pod不会“立即”被evict，是因为kubelet是定期进行检查的，会存在一个时间差。

4、emptyDir缺点

• 不能及时禁止用户使用内存。虽然过1-2分钟kubelet会将Pod挤出，但是这个时间内，其实对node还是有风险的
• 影响kubernetes调度，因为empty dir并不涉及node的resources，这样会造成Pod“偷偷”使用了node的内存，但是调度器并不知晓
• 用户不能及时感知到内存不可用

三、hostPath卷

1、hostPath卷简介

• hostPath 卷能将node主机节点文件系统上的文件或目录挂载到node上的的Pod 中。 虽然这不是大多数 Pod 需要的，但是它为一些应用程序提供了强大的逃生舱。
• hostPath 的用法
  （1）容器应用程序生成的日志文件需要永久保存时，可以使用宿主机的高速文件系统进行存储。
  （2）需要访问宿主机上Docker引擎内部数据结构的容器应用时，可以通过定义hostPath为宿主机/var/lib/docker目录，使容器内部应用可以直接访问Docker的文件系统。
• hostPath 卷的 type
  除了必需的 path 属性之外，用户可以选择性地为 hostPath 卷指定 type
  
• 使用卷时的注意事项
  （1）具有相同配置（例如从 podTemplate 创建）的多个 Pod 会由于节点上文件的不同而在不同节点上有不同的行为。
  （2）当 Kubernetes 按照计划添加资源感知的调度时，这类调度机制将无法考虑由 hostPath 使用的资源。
  （3）基础主机上创建的文件或目录只能由 root 用户写入。您需要在 特权容器 中以 root 身份运行进程，或者修改主机上的文件权限以便容器能够写入 hostPath 卷。

2、创建hostPath卷

• /data目录会自动创建

kubectl delete -f vol1.yaml  ##删除刚刚创建的vol1
vim host.yaml

apiVersion: v1
kind: Pod
metadata:
  name: test-pd
spec:
  containers:
  - image: nginx
    name: test-container
    volumeMounts:
    - mountPath: /test-pd
      name: test-volume
  volumes:
  - name: test-volume
    hostPath:
      path: /data
      type: DirectoryOrCreate