Kubernetes使用NFS实现数据持久化

于 2024-05-22 18:27:36 发布
阅读量539 收藏 16
点赞数 24
分类专栏： docker+k8s 文章标签： kubernetes 容器 云原生
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/FLGBgo/article/details/139121998
版权

Kubernetes使用NFS 静态存储

手工分配一个存储卷，需要指定 storageClassName 是 nfs，而 accessModes 可以设置成 ReadWriteMany，这是由 NFS 的特性决定的，它支持多个节点同时访问一个共享目录。

存储卷是 NFS 系统，所以还需要在 YAML 里添加 nfs 字段，指定 NFS 服务器的 IP 地址和共享目录名。

在 NFS 服务器的 /tmp/nfs 目录里又创建了一个新的目录 1g-pv，表示分配了 1GB 的可用存储空间，相应的，PV 里的 capacity 也要设置成同样的数值，也就是 1Gi。

NFS PV的 YAML

apiVersion: v1
kind: PersistentVolume
metadata:
  name: nfs-1g-pv

spec:
  storageClassName: nfs
  accessModes:
    - ReadWriteMany
  capacity:
    storage: 1Gi

  nfs:
    path: /tmp/nfs/1g-pv
    server: 172.*.*.*

执行命令

vim nfs-pv.yml
kubectl apply -f nfs-pv.yml
kubectl get pv

在这里插入图片描述
注意 spec.nfs 里的 IP 地址一定要正确，路径要存在（事先创建好），否则 Kubernetes 按照 PV 的描述会无法挂载 NFS 共享目录，PV 就会处于“pending”状态无法使用。

PVC yaml对象的描述

apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: nfs-static-pvc

spec:
  storageClassName: nfs
  accessModes:
    - ReadWriteMany

  resources:
    requests:
      storage: 1Gi

执行命令

 vim nfs-pvc.yml
 kubectl apply -f nfs-pvc.yml 
 kubectl get pv,pvc

在这里插入图片描述

创建Pod，把 PVC 挂载成它的一个 volume：

apiVersion: v1
kind: Pod
metadata:
  name: nfs-static-pod

spec:
  volumes:
  - name: nfs-pvc-vol
    persistentVolumeClaim:
      claimName: nfs-static-pvc

  containers:
    - name: nfs-pvc-test
      image: nginx:alpine
      ports:
      - containerPort: 80

      volumeMounts:
        - name: nfs-pvc-vol
          mountPath: /tmp

执行命令

vim nfs-pvc-ngx.yml
kubectl apply -f nfs-pvc-ngx.yml
kubectl get pod

在这里插入图片描述
Pod、PVC、PV 和 NFS 存储关系图

在这里插入图片描述
PV/PVC 里指定了 storageClassName 是 nfs，节点上也安装了 NFS 客户端，所以 Kubernetes 就会自动执行 NFS 挂载动作，把 NFS 的共享目录 /tmp/nfs/1g-pv 挂载到 Pod 里的 /tmp，完全不需要去手动管理。

测试nfs挂载效果，用 kubectl exec 进入 Pod，再试着操作 NFS 共享目录：

# 进入容器
kubectl exec -it nfs-static-pod  -- sh
# 切换到tmp目录
cd /tmp/
# 创建test文件并输入test nfs
echo 'test nfs'>test.txt

在这里插入图片描述

NFS目录查看对应挂载目录
在这里插入图片描述
NFS 服务器的 /tmp/nfs/1g-pv 目录，会发现 Pod 里创建的文件确实写入了共享目录。

而且NFS 是一个网络服务，不会受 Pod 调度位置的影响，所以只要网络通畅，这个 PV 对象就会一直可用，数据也就实现了真正的持久化存储

Kubernetes使用NFS Provisoner

Nfs网络存储系统确实能够让集群里的 Pod 任意访问，数据在 Pod 销毁后仍然存在，新创建的 Pod 可以再次挂载，然后读取之前写入的数据，整个过程完全是自动化的。

但 PV 还是需要人工管理，必须要由系统管理员手动维护各种存储设备，再根据开发需求逐个创建 PV，而且 PV 的大小也很难精确控制，容易出现空间不足或者空间浪费的情况。

如何实现PV 的工作也实现自动化？Kubernetes 里的“动态存储卷”可以用 StorageClass 绑定一个 Provisioner 对象，而这个 Provisioner 就是一个能够自动管理存储、创建 PV 的应用，代替了原来系统管理员的手工劳动。

Kubernetes 里每类存储设备都有相应的 Provisioner 对象，对于 NFS 来说，它的 Provisioner 就是“NFS subdir external provisioner"
项目github地址

NFS Provisioner yaml描述

NFS Provisioner 也是以 Pod 的形式运行在 Kubernetes 里的，在 GitHub 的 deploy 目录里是部署它所需的 YAML 文件，一共有三个，分别是 rbac.yaml、class.yaml 和 deployment.yaml。

rbac.yaml

apiVersion: v1
kind: ServiceAccount
metadata:
  name: nfs-client-provisioner
  # replace with namespace where provisioner is deployed
  namespace: kube-system
---
kind: ClusterRole
apiVersion: rbac.authorization.k8s.io/v1
metadata:
  name: nfs-client-provisioner-runner
rules:
  - apiGroups: [""]
    resources: ["nodes"]
    verbs: ["get", "list", "watch"]
  - apiGroups: [""]
    resources: ["persistentvolumes"]
    verbs: ["get", "list", "watch", "create", "delete"]
  - apiGroups: [""]
    resources: ["persistentvolumeclaims"]
    verbs: ["get", "list", "watch", "update"]
  - apiGroups: ["storage.k8s.io"]
    resources: ["storageclasses"]
    verbs: ["get", "list", "watch"]
  - apiGroups: [""]
    resources: ["events"]
    verbs: ["create", "update", "patch"]
---
kind: ClusterRoleBinding
apiVersion: rbac.authorization.k8s.io/v1
metadata:
  name: run-nfs-client-provisioner
subjects:
  - kind: ServiceAccount
    name: nfs-client-provisioner
    # replace with namespace where provisioner is deployed
    namespace: kube-system
roleRef:
  kind: ClusterRole
  name: nfs-client-provisioner-runner
  apiGroup: rbac.authorization.k8s.io
---
kind: Role
apiVersion: rbac.authorization.k8s.io/v1
metadata:
  name: leader-locking-nfs-client-provisioner
  # replace with namespace where provisioner is deployed
  namespace: kube-system
rules:
  - apiGroups: [""]
    resources: ["endpoints"]
    verbs: ["get", "list", "watch", "create", "update", "patch"]
---
kind: RoleBinding
apiVersion: rbac.authorization.k8s.io/v1
metadata:
  name: leader-locking-nfs-client-provisioner
  # replace with namespace where provisioner is deployed
  namespace: kube-system
subjects:
  - kind: ServiceAccount
    name: nfs-client-provisioner
    # replace with namespace where provisioner is deployed
    namespace: kube-system
roleRef:
  kind: Role
  name: leader-locking-nfs-client-provisioner
  apiGroup: rbac.authorization.k8s.io

class.yaml

apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
  name: nfs-client
provisioner: k8s-sigs.io/nfs-subdir-external-provisioner # or choose another name, must match deployment's env PROVISIONER_NAME'
parameters:
  archiveOnDelete: "false"

deployment.yaml (改成自己的ip和挂载目录)

apiVersion: apps/v1
kind: Deployment
metadata:
  name: nfs-client-provisioner
  labels:
    app: nfs-client-provisioner
  # replace with namespace where provisioner is deployed
  namespace: kube-system
spec:
  replicas: 1
  strategy:
    type: Recreate
  selector:
    matchLabels:
      app: nfs-client-provisioner
  template:
    metadata:
      labels:
        app: nfs-client-provisioner
    spec:
      serviceAccountName: nfs-client-provisioner
      containers:
        - name: nfs-client-provisioner
          image: chronolaw/nfs-subdir-external-provisioner:v4.0.2
          volumeMounts:
            - name: nfs-client-root
              mountPath: /persistentvolumes
          env:
            - name: PROVISIONER_NAME
              value: k8s-sigs.io/nfs-subdir-external-provisioner
            - name: NFS_SERVER
              value: 172.*.*.7
            - name: NFS_PATH
              value: /tmp/nfs
      volumes:
        - name: nfs-client-root
          nfs:
            server: 172.*.*.7
            path: /tmp/nfs

Kubernetes 创建 NFS Provisioner

kubectl apply -f rbac.yml
kubectl apply -f class.yml
kubectl apply -f deployment.yml

使用命令 kubectl get，再加上名字空间限定 -n kube-system，就可以看到 NFS Provisioner 在 Kubernetes 里运行起来了

kubectl get pod -n kube-system

在这里插入图片描述

Kubernetes使用NFS 动态存储卷

有了 Provisioner，我们就不再需要手工定义 PV 对象了，只需要在 PVC 里指定 StorageClass 对象，它再关联到 Provisioner。

NFS 默认的 StorageClass 定义：

apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
  name: nfs-client

provisioner: k8s-sigs.io/nfs-subdir-external-provisioner 
parameters:
  archiveOnDelete: "false"
  • provisioner，它指定了应该使用哪个 Provisioner。
  • parameters 是调节 Provisioner 运行的参数，需要参考文档来确定具体值，在这里的 archiveOnDelete: “false” 就是自动回收存储空间。

根据自己的需求，任意定制具有不同存储特性的 StorageClass，比如添加字段 onDelete: “retain” 暂时保留分配的存储，之后再手动删除：

apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
  name: nfs-client-retained

provisioner: k8s-sigs.io/nfs-subdir-external-provisioner
parameters:
  onDelete: "retain"

执行命令

vim nfs-dynamic-sc.yml
kubectl apply -f nfs-dynamic-sc.yml

在这里插入图片描述

PVC向系统申请 10MB 的存储空间，使用的 StorageClass 是默认的 nfs-client：

apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: nfs-dyn-10m-pvc

spec:
  storageClassName: nfs-client
  accessModes:
    - ReadWriteMany

  resources:
    requests:
      storage: 10Mi

在 Pod 里用 volumes 和 volumeMounts 挂载，然后 Kubernetes 就会自动找到 NFS Provisioner，在 NFS 的共享目录上创建出合适的 PV 对象：

apiVersion: v1
kind: Pod
metadata:
  name: nfs-dyn-pod

spec:
  volumes:
  - name: nfs-dyn-10m-vol
    persistentVolumeClaim:
      claimName: nfs-dyn-10m-pvc

  containers:
    - name: nfs-dyn-test
      image: nginx:alpine
      ports:
      - containerPort: 80

      volumeMounts:
        - name: nfs-dyn-10m-vol
          mountPath: /tmp

运行命令

vim nfs-dynamic-pvc.yml
vim nfs-dynamic-ngx.yml
kubectl apply -f nfs-dynamic-pvc.yml -f nfs-dynamic-ngx.yml
kubectl get pv,pvc
kubectl get pod

在这里插入图片描述
虽然没有直接定义 PV 对象，但由于有 NFS Provisioner，它就自动创建一个 PV，大小刚好是在 PVC 里申请的 10MB。

NFS 服务器上查看共享目录，也会发现多出了一个目录，名字与这个自动创建的 PV 一样，但加上了名字空间和 PVC 的前缀：
在这里插入图片描述
Pod、PVC、StorageClass 和 Provisioner 关系图

在这里插入图片描述

FLGB
关注
  • 24
    点赞
  • 踩
  • 16
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
7. Kubernetes容器持久化存储1
08-03
在Kubernetes（k8s）集群中，容器的持久化存储是确保数据在容器或Pod重启后仍能...对于需要数据持久化的企业级应用，PV/PVC是推荐的解决方案，它们提供了一种抽象层，简化了存储管理，同时也确保了数据的跨节点持久性。
RHCE9认证之Kubernetes容器编排工具学习笔记
12-23
Persistent Volume 是 Kubernetes 中的一种持久化存储方式，提供了数据持久化和共享的功能。Persistent Volume 可以通过 NFS 实现持久化存储，并提供了静态和动态供应的方式。 RBAC RBAC（基于角色的访问控制）是 ...
kubernetes 使用 nfs作为存储
s7799653的博客
05-13 644
安装nfs 服务端安装 yum install -y nfs-utils rpcbind mkdir /nfsdata echo "/nfsdata <client-ip>(rw,sync,root_squash)" >> /etc/exports service firewalld stop systemctl enable rpcbind systemctl start...
Kubernetes 使用NFS共享存储
qq_57880554的博客
10-01 743
Kubernetes 使用NFS共享存储
Kubernetes(K8s)部署nfs服务
u011144881的博客
10-03 329
1.编写yaml文件 nfs-app-deployment.yaml apiVersion: apps/v1 kind: Deployment metadata: labels: run: nfs-app name: nfs-app namespace: cbf spec: replicas: 1 selector: matchLabels: run: nfs-app strategy: rollingUpdate: maxSurge
kubernetes存储卷-NFS
rendongxingzhe的博客
04-19 2457
nfs 卷能将 NFS (网络文件系统) 挂载到你的 Pod 中。 不像 emptyDir 那样会在删除 Pod 的同时也会被删除，nfs 卷的内容在删除 Pod 时会被保存，卷只是被卸载。 这意味着 nfs 卷可以被预先填充数据，并且这些数据可以在 Pod 之间共享。 在使用 NFS 卷之前，你必须运行自己的 NFS 服务器并将目标 share 导出备用 个人搭建的NFS Linux服务器Exporter配置 /data/nfs/ 10.10.20.0/24(rw,sync,no_subtree_c
Kubernetes——基于NFS文件文件集群共享
卑微小韩
11-17 520
文章目录一、初学Kubernetes——基于NFS文件文件集群共享1.1 安装NFS文件文件集群共享1.1.1 准备集群服务器1.1.2 下载安装nfs-utils、rpcbind（Master节点）1.1.3 配置开放的目录（Master节点）1.1.4 启动nfs-utils、rpcbind（Master节点）1.1.5 子节点下载安装nfs-utils（Node）1.1.6 查看Master节点开放目录（Node）1.1.7 绑定Master节点开放目录（Node）二、Kubernetes其他文档列表
MySQL的持久化部署（k8s与NFS）
01-07
mysql数据库如果简单地部署在k8s集群上，当pods重启时，数据可能会造成丢失，经过查找资料，发现通过PV和PVC可以进行一个持久化的部署。 PV、PVC PersistentVolume（持久卷） 和 PersistentVolumeClaim（持久卷申请...
K8S存储技术简介及使用说明
02-26
* PV是PersistentVolume的缩写，译为持久化存储卷；PV在K8S中代表一个具体存储类型的卷，其对象中定义了具体存储类型和卷参数。即目标存储服务所有相关的信息都保存在PV中，K8S引用PV中的存储信息执行挂载操作。 五...
15 深入解析Pod对象（二）：使用进阶.pdf
09-18
总结起来，深入理解 Pod 对象的使用进阶，不仅涉及 Pod 的基本概念和操作，还包括如何通过副本集保证服务高可用、如何实现数据持久化、如何利用网络模型和初始化容器优化部署流程，以及如何通过亲和性和反亲和性策略...
Kubernetes----NFS类型的基本存储
redrose2100的博客
04-08 1354
一、基础准备 首先参照 DevOps技术----安装部署NFS服务器 在master节点搭建nfs服务器 然后在node节点执行如下命令安装nfs-utils工具包，注意node节点不需要启动nfs，安装工具包只是为了能驱动nfs yum install -y nfs-utils 二、NFS实例演示 编辑nfs.yaml文件，内容如下： apiVersion: v1 kind: Namespace metadata: name: dev --- apiVersion: v1 kind: Pod m
kubernetes 使用NFS挂载共享存储的容器（一）
asdf57847225的博客
10-18 2609
本次实验使用最简单的方式NFS来配置一个通过挂载共享存储的WEB项目； 两台机器： kubernetes:192,168.0.199 nfs: 192.168.0.218   由于kubernetes还是之前的实验机器，所以就直接弄好NFS服务器先； nfs服务器操作：  yum install rpcbind nfs-utils -y mkdir -p /data/www-data 
【云原生】Kubernetes文件挂载nfs
大壮
01-30 1247
场景一：启动镜像后访问/antuapps/jarapps/目录可以看到挂载的lib和lib-provided目录.场景二：上传were.xslx文件到nfs server服务器上查找对应文件已经成功上传。查看远程电脑NFS共享的目录挂载目录。
kubernetes使用nfs存储，安装步骤+自动挂载
hiphop321的博客
10-27 743
一、在每台机器上安装 apt-get install nfs-kernel-server nfs-common -y 二、配置nfs配置文件 vim /etc/exports /mnt/nfs_from_master03 10.20.2.110(rw,sync,no_root_squash) 要挂出去的路径----允许那台机器访问---（权限：rw读写，ro只读，不降级root权限，sync保...
kubernetes使用 （十九) 网络存储资源--nfs
默子昂
02-02 344
简单来说就是数据持久化的一堆事ヾ(≧▽≦*)o 一. nfs网络存储 #使用nfs作为数据存储，首先要找一台作为nfs服务器 #我这里使用192.168.1.22 部署 #安装服务（所有需要nfs的节点都要有） yum -y install nfs-utils #添加nfs信息 echo "/data/nfs *(rw,no_root_squash)" >> /etc/exports #创建目录 mkdir /data/nfs -p systemctl restart r.
Kubernetes 动态卷—NFS
supahero的博客
01-19 1001
原文链接：https://www.cpweb.top/2244   一、基础概念   动态卷供应（Dynamic Volume Provisioning）允许按需创建存储卷。如果没有动态供应，群集管理员必须手动调用其云或存储提供商来创建新的存储卷，然后创建 PV 对象以在 Kubernetes 中表示它们。动态供应功能消除了集群管理员预先供应存储的需要，相反，它会在用户请求时自动配置存储。   动态卷的实现是基于 StorageClass，每个 StorageClass 对象都指定一个卷插件（也称为 p.
Kubernetes1.18实践及踩坑（之五）持久化（NFS）
在路上...
04-26 546
一、部署NFS服务 找一台新的机器，也可利用集群中现有的一台机器，部署NFS服务端。步骤略。请参见：https://blog.csdn.net/boling_cavalry/article/details/79498346。 然后在集群中的所有节点安装： yum -y install nfs-utils 二、创建PV 编辑 pv-...
kubernetes数据存储(2)--网络文件存储NFS
weixin_45093078的博客
05-19 407
kubernetes数据存储(2)--网络文件存储NFSNFS是一个网络文件存储系统，可以搭建一台NFS服务器，然后将Pod中的存储直接连接到NFS系统上，这样的话，无论Pod在节点上怎么转移，只要host跟NFS的对接没问题，数据就可以成功访问。GlusterFS、NFS和YRFS都是分布式文件系统，都提供文件级别的存储。它们可以将多个硬件节点上的磁盘空间汇聚为一个统一的文件系统，使得多个不同的机器都可以通过网路访问同一个文件系统中的文件。
Kubernetes 卷存储 NFS | nfs搭建配置 原理介绍 nfs作为存储卷使用
最新发布
weixin_48711696的博客
02-21 1236
NFS（Network File System）是一种分布式文件系统协议，允许客户端远程访问服务器上的文件，实现数据共享。它整合多个存储设备为统一文件系统，方便数据存储和管理，支持负载均衡和故障转移，确保服务高可用和可扩展。但需注意，NFS依赖网络环境，网络状况影响其性能，且配置管理需技术经验。nfs端口：2049RPC端口：111wnfs原理工作原理主要基于客户端-服务器架构。在NFS环境中，服务器端运行NFS服务，将本地文件系统中的文件共享给网络上的其他计算机。
Kubernetes测试环境中如何实现数据持久化
04-24
对于Kubernetes测试环境中的数据持久化，有以下几种解决方案： 1. 使用本地存储卷：在Kubernetes节点上创建一个本地存储卷，然后将Pod调度到该节点上，使其可以使用本地存储卷来持久化数据。 2. 使用网络存储：Kubernetes提供了多种支持网络存储的解决方案，如Ceph、GlusterFS、NFS等。这些存储方案可以被挂载到Pod中，从而实现数据的持久化。 3. 使用云存储：如果你是在一些公有云上运行Kubernetes测试环境，那么你可以使用这些云提供的存储服务，如AWS EBS、Azure Disk等。 4. 使用容器化存储：容器化存储提供了一种灵活和可扩展的存储解决方案，如Portworx、Rook等。 需要根据自己的具体情况来选择最适合的方案。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值