Kubernetes 准备数据卷

最新推荐文章于 2024-01-25 14:33:07 发布
最新推荐文章于 2024-01-25 14:33:07 发布
阅读量131 收藏
点赞数
分类专栏： Kubernetes
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/tiancxz/article/details/104311576
版权

概述

在 Docker 中就有数据卷的概念，当容器删除时，数据也一起会被删除，想要持久化使用数据，需要把主机上的目录挂载到 Docker 中去，在 K8S 中，数据卷是通过 Pod 实现持久化的，如果 Pod 删除，数据卷也会一起删除，k8s 的数据卷是 docker 数据卷的扩展，K8S 适配各种存储系统，包括本地存储 EmptyDir，HostPath， 网络存储（NFS，GlusterFS，PV/PVC）等。

我们以部署 MySQL8 为例，采用 NFS + PV/PVC 网络存储方案实现我们的 Kubernetes 数据持久化。

什么是 NFS

NFS 是 Network File System 的简写，即网络文件系统，NFS 是 FreeBSD 支持的文件系统中的一种。NFS 基于 RPC (Remote Procedure Call) 远程过程调用实现，其允许一个系统在网络上与它人共享目录和文件。通过使用 NFS，用户和程序就可以像访问本地文件一样访问远端系统上的文件。NFS 是一个非常稳定的，可移植的网络文件系统。具备可扩展和高性能等特性，达到了企业级应用质量标准。由于网络速度的增加和延迟的降低，NFS 系统一直是通过网络提供文件系统服务的有竞争力的选择 。

NFS 原理

NFS 使用 RPC (Remote Procedure Call) 的机制进行实现，RPC 使得客户端可以调用服务端的函数。同时，由于有 VFS 的存在，客户端可以像使用其它普通文件系统一样使用 NFS 文件系统。经由操作系统的内核，将 NFS 文件系统的调用请求通过 TCP/IP 发送至服务端的 NFS 服务。NFS 服务器执行相关的操作，并将操作结果返回给客户端。

NFS 服务主要进程

  • rpc.nfsd：最主要的 NFS 进程，管理客户端是否可登录
  • rpc.mountd：挂载和卸载 NFS 文件系统，包括权限管理
  • rpc.lockd：非必要，管理文件锁，避免同时写出错
  • rpc.statd：非必要，检查文件一致性，可修复文件

NFS 的关键工具

  • 主要配置文件：/etc/exports
  • NFS 文件系统维护命令：/usr/bin/exportfs
  • 共享资源的日志文件： /var/lib/nfs/*tab
  • 客户端查询共享资源命令： /usr/sbin/showmount
  • 端口配置： /etc/sysconfig/nfs

NFS 服务端配置

在 NFS 服务器端的主要配置文件为 /etc/exports 时，通过此配置文件可以设置共享文件目录。每条配置记录由 NFS 共享目录、NFS 客户端地址和参数这 3 部分组成，格式如下：

[NFS 共享目录] [NFS 客户端地址 1 (参数 1, 参数 2, 参数 3……)] [客户端地址 2 (参数 1, 参数 2, 参数 3……)]
  • NFS 共享目录：服务器上共享出去的文件目录
  • NFS 客户端地址：允许其访问的 NFS 服务器的客户端地址，可以是客户端 IP 地址，也可以是一个网段 (192.168.222.0/24)
  • 访问参数：括号中逗号分隔项，主要是一些权限选项

访问权限参数

序号选项描述
1ro客户端对于共享文件目录为只读权限。默认
2rw客户端对于共享文件目录具有读写权限

用户映射参数

序号选项描述
1root_squash使客户端使用 root 账户访冋时，服务器映射为服务器本地的匿名账号
2no_root_squash客户端连接服务端时如果使用的是 root，那么也拥有对服务端分享的目录的 root 权限
3all_squash将所有客户端用户请求映射到匿名用户或用户组（nfsnobody)
4no_all_squash与上相反。默认
5anonuid=xxx将远程访问的所有用户都映射为匿名用户，并指定该用户为本地用户(UID=xxx)
6anongid=xxx将远程访问的所有用户组都映射为匿名用户组账户，并指定该匿名用户组账户为本地用户组账户(GUI=xxx)

其它配置参数

序号选项描述
1sync同步写操作，数据写入存储设备后返回成功信息。默认
2async异步写提作，数据在未完全写入存储设备前就返回成功信息，实际还在内存，
3wdelay延迟写入选项，将多个写提请求合并后写入硬盘，减少 I/O 次数， NFS 非正常关闭数据可能丢失。默认
4no_wdelay与上相反，不与 async 同时生效，如果 NFS 服务器主要收到小且不相关的请求，该选项实际会降低性能
5subtree若输出目录是一个子目录，则 NFS 服务器将检查其父目录的权限。默认
6no_subtree即使输出目录是一个子目录， NFS 服务器也不检查其父目录的权限，这样可以提高效率
7secure限制客户端只能从小于 1024 的 TCP/IP 端口连接 NFS 服务器。默认
8insecure允许客户端从大于 1024 的 TCP/IP 端口连接服务器

安装 NFS 服务端

由于 NFS 是一套分布式文件系统，我们再创建一台独立的虚拟机作为我们 NFS 服务端，配置如下

主机名IP系统CPU/内存磁盘
kubernetes-volumes192.168.222.130Ubuntu Server 18.042 核 2G20G

配置 IP

编辑 vi /etc/netplan/50-cloud-init.yaml 配置文件，修改内容如下

network:
    ethernets:
        ens33:
          addresses: [192.168.222.130/24]
          gateway4: 192.168.222.2
          nameservers:
            addresses: [192.168.222.2]
    version: 2

使用 netplan apply 命令让配置生效

配置主机名

# 修改主机名
hostnamectl set-hostname kubernetes-volumes
# 配置 hosts
cat >> /etc/hosts << EOF
192.168.222.110 kubernetes-master
192.168.222.110 k8s.dawang.com
192.168.222.121 kubernetes-node-01
192.168.222.121 k8s1.dawang.com
192.168.222.122 kubernetes-node-02
192.168.222.122 k8s2.dawang.com
192.168.222.130 kubernetes-volumes
192.168.222.130 k8s3.dawang.com
EOF
  • 创建一个目录作为共享文件目录
mkdir -p /usr/local/kubernetes/volumes
  • 目录增加读写权限
chmod a+rw /usr/local/kubernetes/volumes
  • 装 NFS 服务端
apt-get update
apt-get install -y nfs-kernel-server
  • 置 NFS 服务目录，打开文件 vi /etc/exports，在尾部新增一行，内容如下
/usr/local/kubernetes/volumes *(rw,sync,no_subtree_check,no_root_squash)
  • /usr/local/kubernetes/volumes： 作为服务目录向客户端开放
  • *：表示任何 IP 都可以访问
  • rw： 读写权限
  • sync： 同步权限
  • no_subtree_check： 表示如果输出目录是一个子目录，NFS 服务器不检查其父目录的权限
  • no_root_squash： 客户端连接服务端时如果使用的是 root，那么也拥有对服务端分享的目录的 root 权限
  • 重启服务，使配置生效
/etc/init.d/nfs-kernel-server restart

装 NFS 客户端

安装客户端的目的是验证是否可以上传文件到服务端，安装命令如下

apt-get install -y nfs-common
  • 建 NFS 客户端挂载目录
mkdir -p /usr/local/kubernetes/volumes-mount
  •  NFS 服务器的 /usr/local/kubernetes/volumes 目录挂载到 NFS 客户端的 /usr/local/kubernetes/volumes-mount 目录
mount 192.168.222.130:/usr/local/kubernetes/volumes /usr/local/kubernetes/volumes-mount
  • 用 df 命令查看挂载信息

验证 NFS 服务

  • 测试文件上传
ip addr > /usr/local/kubernetes/volumes-mount/test.txt
  • 看 /usr/local/kubernetes/volumes 目录下是否有 test.txt 文件，有则表示成功

取消 NFS 客户端挂载

注意： 不要直接在挂载目录下执行，否则会报错

umount /usr/local/kubernetes/volumes-mount

 

dawang.
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
k8s的数据持久化方式
lizhimingbdr的博客
03-03 2530
第一种持久化方式emptyDir: emptyDir:数据卷在创建pod时分配给该pod，并且直到pod被移除，该数据卷才被释放。该数据卷初始分配时，始终是一个空目录。同一个pod中的不同容器都可以对该目录执行读写操作，并且共享其中的数据（尽管不同容器可能将该数据卷挂载到容器中的不同路径）。当pod被删除后，emptyDir数据卷中的数据将被永久删除。（PS：容器奔溃时，kubelet并不会删除p...
kubernetes-v1.22离线安装包
11-08
6. **存储增强**：此版本可能包括了对持久卷(Persistent Volumes)和存储类(Storage Classes)的改进，以提供更好的数据管理和持久化。 7. **Kubernetes Dashboard**：Kubernetes Dashboard是一个UI界面，方便用户...
K8S数据持久化
m0_53703865的博客
02-11 2540
K8S实现pod数据持久化 前言 K8S启动的pod属于容器，当pod删除或者重建，原容器中的数据将丢失，这将是严重的安全事故，本文将讲述K8S数据持久化实现的方法。 1.实现方式 采用nfs、pv与pvc组合的方式实现数据持久化，同时实现多节点pod数据一致性。 2.实现过程 2.1 部署nfs服务 #安装部署nfs #主节点操作 #安装nfs，从节点安装nfs-utils即可 yum install -y nfs-utils rpcbind #创建nfs共享目录 mkdir /hom
（八）K8S数据持久化存储
csdn570566705的博客
05-27 1620
EmptyDir是Kubernetes中一种简单的数据卷类型，它提供了一个临时的空目录，可以用于在Pod内部共享文件。EmptyDir卷在Pod被调度到节点上时创建，并且只在Pod的生命周期内存在，当Pod被删除或重新调度时，其中的数据也会被清除。hostPath是Kubernetes中一种常见的卷类型，它允许将主机上的文件或目录直接挂载到Pod中的容器中。这样，容器可以直接访问主机上的文件系统，并与主机共享数据。都是本地存储卷方式emptyDir是临时存储空间，完全不提供持久化支持；
k8s数据持久化（存储卷）
givenchy_yzl的博客
08-11 821
数据持久化 我们知道，Pod是由容器组成的，而容器宕机或停止之后，数据就随之丢了，那么这也就意味着我们在做Kubernetes集群的时候就不得不考虑存储的问题，而存储卷就是为了Pod保存数据而生的。存储卷的类型有很多，我们常用到一般有四种：**emptyDir，hostPath，NFS以及云存储（ceph, glasterfs…）**等。 emptyDir（容器与容器的数据共享） emptyDir类型的volume在pod分配到node上时被创建，kubernetes会在node上自动分配 一个目录，因此无
k8s的持久化存储
weixin_30340745的博客
08-03 682
本例使用nfs 创建pv [root@k8s-master data]# vi pv.yaml apiVersion: v1kind: PersistentVolumemetadata: name: webspec: capacity: storage: 5Gi accessModes: - ReadWriteOnce persistentVol...
RHCE9认证之Kubernetes容器编排工具学习笔记
12-23
部署 Kubernetes 集群需要准备好 Master 节点和 Node 节点，并配置好网络插件和 etcd 集群。 Kubernetes 资源管理 Kubernetes 提供了多种资源管理方式，例如 Deployment、ReplicaSet 和 Pod 等。Deployment 是一种...
kubernetes认证管理员准备指南：Kubernetes认证管理员（CKA）准备指南-课程V1.19
02-04
- **持久卷（Persistent Volumes, PV）与持久卷声明（Persistent Volume Claims, PVC）**：学习如何实现数据持久化，包括动态存储调度。 3. **部署与更新策略** - **Deployment**：掌握如何创建和管理Deployment...
K8s持久化存储
MrLee的博客
07-13 3203
Volume 提供了非常好的数据持久化方案，不过在可管理性上还有不足。要使用 Volume，Pod 必须事先知道如下信息：Pod 通常是由应用的开发人员维护，而 Volume 则通常是由存储系统的管理员维护。开发人员要获得上面的信息：要么询问管理员。 要么自己就是管理员。这样就带来一个管理上的问题：应用开发人员和系统管理员的职责耦合在一起了。如果系统规模较小或者对于开发环境这样的情况还可以接受。但当集群规模变大，特别是对于生成环境，考虑到效率和安全性，这就成了必须要解决的问题。Kubernetes 给出的解
k8s 存储卷与数据持久化
xiaolong1155的博客
04-14 564
因为pod本身具有生命周期，容器内部的数据是不能永久存储的，有可能某一个pod出现问题后，重新启动的容器就不会在有这个数据的。存储卷是定义在 Pod 上面被其内部的所有容器挂载的共享目录，它关联至某外部的存储设备之上的存储空间，从而独立于容器自身的文件系统，而数据是否具有持久能力则取决于存储卷自身 是否支持持久机制。
k8s存储——持久化存储
虫虫的博客
07-28 285
k8s存储——持久化存储
K8s-持久化（持久卷,卷申明,StorageClass,StatefulSet持久化）
最新发布
qq_43259860的博客
01-25 1726
通过POD指定Volume 的时候我们需要配置每个POD的主机路径，那如果我们后面需要修改主机的路径就会修改每个POD的yml。创建持久卷声明后, Kubernetes将根据请求和卷上设置的属性将持久卷绑定到声明｡每个持久卷声明都绑定到一个持久卷｡在绑定的过程中会根据是否有足够的容量，访问模式是否匹配，卷模式这些条件匹配到对应的持久卷。如果没有可用的卷,则永久卷声明将保持Pending挂起状态, 直到有更新的卷可供群集使用｡一旦有更新的卷可用,声明将自动绑定到新的可用卷｡1 先定义一个持久卷。
总结：K8S持久化存储方案
w2009211777的专栏
04-08 7194
一、名词介绍 首先介绍几个 K8s 原生的概念名词： PV - PersistVolume： 可被 Pod 挂载的持久化数据卷在 K8s 中表示 PVC - PersistVolumeClaim： 用于动态管理的持久化存储资源请求对象，定义需要的存储类型，大小，访问方式等 StorageClass：定义动态管理行为的资源对象，一般由管理员维护，定义存储资源的来源，权限，分配回收策略等 provisioner：运行在集群中，执行实际管理动作的工作负载。主要承担数据卷的 create、delete 等
k8s之volumn详解以及 k8s支持的数据持久化方案和使用方式
weixin_34593133的博客
12-20 5753
文章目录为什么要做共享存储？k8s支持的共享存储方案以及各种方案的差异k8s支持的存储类型宿主机类emptyDirhostpath集群类存储configmap、secret云存储AWS、AzureFile分布式存储ceph 、glusterfsnfs高效便捷的使用共享存储PV和PVCPVpvcPV 和PVC的生命周期storage class 我们知道，一个运行中的容器，默认情况下，对文件系统的写...
一文读懂 K8s 持久化存储流程
GitChat
04-10 450
众所周知，K8s 的持久化存储（Persistent Storage）保证了应用数据独立于应用生命周期而存在，但其内部实现却少有人提及。K8s 内部的存储流程到底是怎样的？PV、PVC、StorageClass、Kubelet、CSI 插件等之间的调用关系又如何，这些谜底将在本文中一一揭晓。...
Kubernetes日志收集解决方案
u012516914的专栏
01-06 322
"本文主要讲解在kubernetes集群环境下日志收集组件选型及方案"1、需求来源在大规模集群部署的场景下，容器实例会部署到多个节点上，节点以及节点上的应用产生的日志会随...
K8S实现数据持久化存储
drrui520的博客
12-13 405
实际上hostPath 的功能就是docker 中的目录映射，只不过在K8S 中，Pod 会漂移，当Pod 漂移到其他node 节点上时，Pod 不会跨节点去读取原来的目录，此时它的数据就无法保证了。最基础的卷类型就是emptyDir，顾名思义，一个emptyDir 卷是宿主机上的一个空目录，它是在Pod 分配到Node 时创建的，无需指定宿主机上对应的目录文件，并且是自动分配的。emptyDir 的生命周期跟Pod 相同，当Pod 从Node 节点上移除时，emptyDir卷中的数据也将被永久删除。
eSDK存储插件V2.2.16 Kubernetes CSI用户指南
eSDK Enterprise Storage Plugins V2.2.16用户指南为用户提供了在Kubernetes环境中使用华为存储解决方案的详细指南，涵盖了从环境准备到安装部署的全过程，是进行Kubernetes集群存储管理的重要参考资料。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值