K8s-----Volumes（一）配置管理（emptyDir、hostPath、nfs）

最新推荐文章于 2024-05-16 23:10:19 发布

KKang@

最新推荐文章于 2024-05-16 23:10:19 发布

阅读量1.3k

点赞数

分类专栏： K8s

本文链接：https://blog.csdn.net/qq_41582883/article/details/114063764

版权

K8s 专栏收录该内容

24 篇文章 6 订阅

订阅专栏

K8s Volumes中emptyDir、hostPath、nfs的使用

1 Kubernetes Volumes简介
2 emptyDir卷
- 2.1 emptyDir卷的介绍
- 2.2 emptyDir 配置示例
3 hostPath 卷
- 3.1 hostPath的介绍
- 3.2 hostpath示例
4 NFS
- 4.1 实验环境
- 4.2 NFS的示例

1 Kubernetes Volumes简介

容器中的文件在磁盘上是临时存放的，这给容器中运行的特殊应用程序带来一些问题。首先，当容器崩溃时，kubelet 将重新启动容器，容器中的文件将会丢失,因为容器会以干净的状态重建。其次，当在一个 Pod 中同时运行多个容器时，常常需要在这些容器之间共享文件。 Kubernetes 抽象出 Volume 对象来解决这两个问题。

Kubernetes 卷具有明确的生命周期，与包裹它的 Pod 相同。卷比 Pod 中运行的任何容器的存活期都长，在容器重新启动时数据也会得到保留。当然，当一个 Pod 不再存在时，卷也将不再存在。也许更重要的是，Kubernetes 可以支持许多类型的卷，Pod 也能同时使用任意数量的卷。

Docker 镜像位于文件系统层次结构的根部，各个卷则挂载在镜像内的指定路径上。卷不能挂载到其他卷，也不能与其他卷有硬链接。 Pod 中的每个容器必须独立地指定每个卷的挂载位置。

Kubernetes 支持多种类型的卷，可以在官网查看：https://kubernetes.io/zh/docs/concepts/storage/volumes/

2 emptyDir卷

2.1 emptyDir卷的介绍

当 Pod 指定到某个节点上时，首先创建的是一个 emptyDir 卷，并且只要 Pod 在该节点上运行，卷就一直存在。就像它的名称表示的那样，卷最初是空的。尽管 Pod 中的容器挂载 emptyDir 卷的路径可能相同也可能不同，但是这些容器都可以读写 emptyDir 卷中相同的文件。当 Pod 因为某些原因被从节点上删除时，emptyDir 卷中的数据也会永久删除。

注意： 容器崩溃并不会导致 Pod 被从节点上移除，因此容器崩溃期间 emptyDir 卷中的数据是安全的

emptyDir 的使用场景：

缓存空间，例如基于磁盘的归并排序
为耗时较长的计算任务提供检查点，以便任务能方便地从崩溃前状态恢复执行
在 Web 服务器容器服务数据时，保存内容管理器容器获取的文件

默认情况下， emptyDir 卷存储在支持该节点所使用的介质上，介质可以是磁盘或 SSD 或网络存储。但是，可以将 emptyDir.medium 字段设置为 “Memory”，以通知Kubernetes 为安装 tmpfs（基于内存的文件系统）。

tmpfs 速度非常快，但是它与磁盘不同在于 tmpfs 在节点重启时会被清除，并且写入的所有文件都会计入容器的内存消耗，受容器内存限制约束。

2.2 emptyDir 配置示例

（1）应用资源清单文件：kubectl apply -f vol-emp.yml

apiVersion: v1
kind: Pod
metadata:
  name: vol1
spec:
  containers:
  - image: busyboxplus
    name: vm1
    stdin: true
    tty: true
    volumeMounts:
    - mountPath: /cache
      name: cache-volume
  - name: vm2
    image: myapp:v1
    volumeMounts:
    - mountPath: /usr/share/nginx/html
      name: cache-volume
  volumes:
  - name: cache-volume
    emptyDir:
      medium: Memory
      sizeLimit: 100Mi

（2）查看po的信息

kubectl get pod
kubectl describe pod vol1

卷成功被挂载

在这里插入图片描述

（3）测试

[root@server2 ~]# kubectl get pod -o wide
NAME   READY   STATUS    RESTARTS   AGE   IP             NODE      NOMINATED NODE   READINESS GATES
vol1   2/2     Running   0          44s   10.244.22.43   server4   <none>           <none>
[root@server2 ~]# kubectl attach vol1 -c vm1 -it ## 进入pod的交互界面
If you don't see a command prompt, try pressing enter.
/ # ip addr
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
3: eth0@if69: <BROADCAST,MULTICAST,UP,LOWER_UP,M-DOWN> mtu 1500 qdisc noqueue 
    link/ether fa:37:8b:e8:78:84 brd ff:ff:ff:ff:ff:ff
    inet 10.244.22.43/32 brd 10.244.22.43 scope global eth0
       valid_lft forever preferred_lft forever
/ # cd /cache/
/cache # ls
/cache # echo www.westos.org > index.html  ## 向nginx的默认发布页面写入内容
/cache # curl localhost  ## 测试，成功向挂载的目录写入内容
www.westos.org
[root@server2 ~]# curl 10.244.22.43
www.westos.org

在容器内部执行命令：kubectl exec vol1 -it sh

[root@server2 ~]# kubectl exec vol1 -it sh
kubectl exec [POD] [COMMAND] is DEPRECATED and will be removed in a future version. Use kubectl exec [POD] -- [COMMAND] instead.
Defaulting container name to vm1.
Use 'kubectl describe pod/vol1 -n default' to see all of the containers in this pod.
/ # dd if=/dev/zero of=/cache/bigfile bs=1M count=200
200+0 records in
200+0 records out
/ # exec attach failed: error on attach stdin: read escape sequence

文件超过sizeLimit，不是“立即”被kubelet evict，是因为kubelet是定期进行检查的

在这里插入图片描述
emptydir缺点：

不能及时禁止用户使用内存。虽然过1-2分钟kubelet会将Pod挤出，但是这个时间内，其实对node还是有风险的；
影响kubernetes调度，因为empty dir并不涉及node的resources，这样会造成Pod“偷偷”使用了node的内存，但是调度器并不知晓；
用户不能及时感知到内存不可用

3 hostPath 卷

3.1 hostPath的介绍

hostPath 卷能将主机节点文件系统上的文件或目录挂载到Pod 中。虽然这不是大多数 Pod 需要的，但是它为一些应用程序提供了强大的逃生舱。

hostPath的用法：

（1）运行一个需要访问 Docker 引擎内部机制的容器，挂载 /var/lib/docker 路径

（2）在容器中运行 cAdvisor 时，以hostPath 方式挂载 /sys

（3）允许 Pod 指定给定的 hostPath 在运行 Pod 之前是否应该存在，是否应该创建以及应该以什么方式存在

当使用这种类型的卷时要小心：

（1）具有相同配置（例如从 podTemplate 创建）的多个 Pod 会由于节点上文件的不同而在不同节点上有不同的行为

（2）当 Kubernetes 按照计划添加资源感知的调度时，这类调度机制将无法考虑由 hostPath 使用的资源

（3）基础主机上创建的文件或目录只能由 root 用户写入。用户需要在特权容器中以 root 身份运行进程，或者修改主机上的文件权限以便容器能够写入 hostPath 卷

3.2 hostpath示例

（1）应用资源清单文件： kubectl apply -f hostpath.yml

apiVersion: v1
kind: Pod
metadata:
  name: test-pd
spec:
  containers:
  - image: myapp:v1
    name: vm1
    volumeMounts:
    - mountPath: /usr/share/nginx/html
      name: test-volume
  volumes:
  - name: test-volume
    hostPath:
      path: /workdata
      type: DirectoryOrCreate

（2）查看pod的信息：kubectl get pod -o wide

在这里插入图片描述

查看指定pod的详细信息： kubectl describe pod test-pd

Containers:
  vm1:
    Container ID:   docker://8e152f19f93ecb81a10ec6ca0e8c75f10fca11e4dd231f539977f275e5e81126
    Image:          myapp:v1
    Image ID:       docker-pullable://myapp@sha256:9eeca44ba2d410e54fccc54cbe9c021802aa8b9836a0bcf3d3229354e4c8870e
    Port:           <none>
    Host Port:      <none>
    State:          Running
      Started:      Thu, 25 Feb 2021 11:07:33 +0800
    Ready:          True
    Restart Count:  0
    Environment:    <none>
    Mounts:
      /usr/share/nginx/html from test-volume (rw)
      /var/run/secrets/kubernetes.io/serviceaccount from default-token-h2p8m (ro)
Conditions:
  Type              Status
  Initialized       True 
  Ready             True 
  ContainersReady   True 
  PodScheduled      True 
Volumes:
  test-volume:
    Type:          HostPath (bare host directory volume)
    Path:          /workdata
    HostPathType:  DirectoryOrCreate
  default-token-h2p8m:
    Type:        Secret (a volume populated by a Secret)
    SecretName:  default-token-h2p8m
    Optional:    false
QoS Class:       BestEffort
Node-Selectors:  <none>
Tolerations:     node.kubernetes.io/not-ready:NoExecute op=Exists for 300s
                 node.kubernetes.io/unreachable:NoExecute op=Exists for 300s
Events:
  Type    Reason     Age   From               Message
  ----    ------     ----  ----               -------
  Normal  Scheduled  26s   default-scheduler  Successfully assigned default/test-pd to server4
  Normal  Pulled     29s   kubelet            Container image "myapp:v1" already present on machine
  Normal  Created    29s   kubelet            Created container vm1
  Normal  Started    29s   kubelet            Started container vm1

（3）测试

查看pod的详细信息：kubectl get pod -o wide
访问pod的服务： curl 10.244.22.44，访问失败原因可能是nginx的默认发布页面未创建

在这里插入图片描述
查看pod调度节点是否创建相关目录

test-pod运行在server4上，nginx服务的默认发布目录挂载在server4的/nfsdata目录中，所以在该目录中写入访问nginx服务的默认发布页面

[root@server4 ~]# cd /workdata
[root@server4 workdata]# echo www.westos.org > index.html

在pod的挂载目录写入数据成功：curl 10.244.22.44

在这里插入图片描述

4 NFS

4.1 实验环境

NFS客户端将NFS服务端设置好的共享目录挂载到本地某个挂载点，对于客户端来说，共享的资源就相当于在本地的目录下

服务端server1:

安装nfs工具：yum install -y nfs-utils
挂载策略：vim /etc/exports

 /nfsdata   *(rw,no_root_squash)

创建挂载目录：mkdir /nfsdata
设置nfs服务开机启动：systemctl enable --now nfs
显示NFS服务器上所有的共享目录：showmount -e

在这里插入图片描述

4.2 NFS的示例

（1）应用资源清单文件：kubectl apply -f nfs.yml

nfs直接作为存储卷使用，nginx在容器中的持久化数据保存在/nfsdata目录下；存储卷使用nfs，nfs的服务地址为：172.25.12.1，docker中持久化挂接路径：/usr/share/nginx/html/k8s-nfs/redis/data。容器通过volumeMounts.name的值确定所使用的存储卷

apiVersion: v1
kind: Pod
metadata:
  name: nfs-pd
spec:
  containers:
## 应用的镜像
  - image: myapp:v1
    name: vm1
## 持久化挂接位置，在docker中 
    volumeMounts:
    - mountPath: /usr/share/nginx/html
      name: test-volume
## 宿主机上的目录
  volumes:
  - name: test-volume
    nfs:
      server: 172.25.12.1  ## nfs服务端
      path: /nfsdata

（2）查看pod的详细信息： kubectl get pod ，nfs-pod未运行

在这里插入图片描述

查看指定pod的信息：kubectl describe pod nfs-pd

在这里插入图片描述

nfs-pod运行在server4上，pod未运行的原因可能时未安装nfs服务
server4安装nfs-tool

yum install -y nfs-utils
systemctl enable --now nfs

查看pod的状态：kubectl get pod -o wide，此时pod正常运行

在这里插入图片描述
（3）测试

访问pod的服务：curl 10.244.22.4，访问失败原因可能是nginx的默认发布页面未创建

在这里插入图片描述
查看pod调度节点是否创建相关目录

test-pod运行在server4上，nginx服务的默认发布目录挂载在server4的/nfsdata目录中，所以在该目录中写入访问nginx服务的默认发布页面

[root@server1 ~]# cd /nfsdata/
[root@server1 nfsdata]# ll
total 0
[root@server1 nfsdata]# echo www.westos.org > index.html

成功访问到nginx的默认发布文件

在这里插入图片描述

KKang@

关注

0
点赞
踩
3

收藏

觉得还不错? 一键收藏
1
评论
K8s-----Volumes（一）配置管理（emptyDir、hostPath、nfs）

容器中的文件在磁盘上是临时存放的，这给容器中运行的特殊应用程序带来一些问题。首先，当容器崩溃时，kubelet 将重新启动容器，容器中的文件将会丢失,因为容器会以干净的状态重建。其次，当在一个 Pod 中同时运行多个容器时，常常需要在这些容器之间共享文件。 Kubernetes 抽象出 Volume 对象来解决这两个问题。Kubernetes 卷具有明确的生命周期,与包裹它的 Pod 相同。因此，卷比 Pod 中运行的任何容器的存活期都长，在容器重新启动时数据也会得到保留。当然，当一个 Pod 不再存
复制链接

扫一扫