k8s 之存储卷

最新推荐文章于 2024-04-17 17:48:19 发布
最新推荐文章于 2024-04-17 17:48:19 发布
阅读量936 收藏
点赞数
文章标签： kubernetes docker linux
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yaoxie1534/article/details/127686977
版权

文章目录

1. 存储卷的分类

1.1 本地存储卷

  • emptyDir pod删除，数据也会被清除，用于数据的临时存储
  • hostPath 宿主机目录映射(本地存储卷)

1.2 网络存储卷

  • NAS类 nsf等
  • SAN类 iscsi,FC等
  • 分布式存储: glusterfs,cephfs,rbd,cinder等
  • 云存储 aws,azurefile 等

2. 存储卷的选择

2.1 按应用角度分类

  • 文件存储：如nfs,glusterfs,cephfs
    优点：数据共享
    缺点： 性能相对较差
  • 块存储：如 iscsi,rbd
    优点： 性能相对于文件存储较好
    缺点: 部分不能实现数据共享
  • 对象存储： ceph对象存储
    优点：性能好，数据共享
    缺点： 使用方式特殊，支持较少

3. emptyDir

应用场景：pod之间的数据共享
特点：随着pod的删除，该卷也会被删除，不能用来做数据的持久化

测试yaml

apiVersion: v1
kind: Pod
metadata:
  name: volume-emptydir
spec:
  containers:
  - name: write
    image: centos
    imagePullPolicy: IfNotPresent
    command: ["bash","-c","echo haha > /data/1.txt ; sleep 6000"]
    volumeMounts:
    - name: data
      mountPath: /data

  - name: read
    image: centos
    imagePullPolicy: IfNotPresent
    command: ["bash","-c","cat /data/1.txt; sleep 6000"]
    volumeMounts:
    - name: data
      mountPath: /data
      
  volumes:
  - name: data
    emptyDir: {}

4. hostPath

  • 应用场景：pod 与集群节点的目录映射，
  • 缺点：如果集群节点挂掉，控制器在另一个集群节点 拉起容器，数据就会变成集群的另一个节点上的数据，不会进行数据共享

yaml列子文件

apiVersion: v1
kind: Pod
metadata:
  name: volume-hostpath
spec:
  containers:
  - name: busybox
    image: busybox
    imagePullPolicy: IfNotPresent
    command: ["/bin/sh","-c","echo haha > /data/1.txt ; sleep 600"]
    volumeMounts:
    - name: data
      mountPath: /data
      
  volumes:
  - name: data
    hostPath:
      path: /opt
      type: Directory

5.nfs

5.1 构建一个nfs server

mkdir -p /data/nfs
vim /etc/exports
/data/nfs       *(rw,no_root_squash,sync)
systemctl restart nfs-server
systemctl enable nfs-server
[root@k8sslave3 ~]# showmount -e 
Export list for k8sslave3:
/data/nfs *

5.2 所有node节点安装nfs客户端的相关软件包

[root@k8s-worker1 ~]# yum install nfs-utils -y
[root@k8s-worker2 ~]# yum install nfs-utils -y

验证可用性

[root@k8sslave opt]# showmount -e 192.168.37.141
Export list for 192.168.37.141:
/data/nfs *

5.3 在master节点上创建yaml文件

apiVersion: apps/v1
kind: Deployment
metadata:
  name: volume-nfs
spec:
  replicas: 2
  selector:
    matchLabels:
      app: nginx
  template:
    metadata:
      labels:
        app: nginx
    spec:
      containers:
      - name: nginx
        image: nginx:1.15-alpine
        imagePullPolicy: IfNotPresent
        volumeMounts:
        - name: documentroot
          mountPath: /usr/share/nginx/html
        ports:
        - containerPort: 80
      volumes:
      - name: documentroot
        nfs:
          server: 192.168.37.141
          path: /data/nfs

6. pv与pvc

persistenvolume(PV) 是配置好的一段存储(可以是任意类型的存储卷)

  • 也就是说将网络存储共享出来,配置定义成PV。

PersistentVolumeClaim(PVC)是用户pod使用PV的申请请求。

  • 用户不需要关心具体的volume实现细节,只需要关心使用需求。

6.1 pv 与pvc之间的关系

  • pv提供存储资源(生产者)
  • pvc使用存储资源(消费者)
  • 使用pvc绑定pv

在这里插入图片描述

6.2 实现nfs与pv和pvc的案列

6.2.1 创建pv

[root@k8s-master1 ~]# vim pv-nfs.yml
apiVersion: v1
kind: PersistentVolume						# 类型为PersistentVolume(pv)
metadata:		
  name: pv-nfs								# 名称
spec:
  capacity:
    storage: 1Gi							# 大小
  accessModes:
    - ReadWriteMany							# 访问模式
  nfs:
    path: /data/nfs							# nfs共享目录
    server: 192.168.37.141					# nfs服务器IP

访问模式有三种

  • ReadWriteOnce 单节点读写挂载
  • ReadOnlyMany 多节点只读挂载
  • ReadWriteMany 多节点读写挂载

在这里插入图片描述
说明:

  • RWX为ReadWriteMany的简写
  • Retain是回收策略
    • Retain表示需要不使用了需要手动回收
    • 参考: 参考地址

6.2.2 创建pvc

apiVersion: v1
kind: PersistentVolumeClaim				# 类型为PersistentVolumeClaim(pvc)
metadata:
  name: pvc-nfs							# pvc的名称
spec:
  accessModes:
    - ReadWriteMany						# 访问模式
  resources:
    requests:
      storage: 1Gi						# 大小要与pv的大小保持一致

在这里插入图片描述
注：status 为bound状态表示pv与pvc进行了绑定

6.2.3 编写deployment的yaml

apiVersion: apps/v1
kind: Deployment
metadata:
  name: deploy-nginx-nfs
spec:
  replicas: 2
  selector:
    matchLabels:
      app: nginx
  template:
    metadata:
      labels:
        app: nginx
    spec:
      containers:
      - name: nginx
        image: nginx:1.15-alpine
        imagePullPolicy: IfNotPresent
        ports:
        - containerPort: 80
        volumeMounts:
        - name: www
          mountPath: /usr/share/nginx/html
      volumes:
      - name: www
        persistentVolumeClaim:
          claimName: pvc-nfs

6.3 subPath 挂载子目录的写法

6.3.1 pod

apiVersion: v1
kind: Pod
metadata:
 name: pod1
spec:
 containers:
 - name: c1
   image: busybox
   command: ["/bin/sleep","100000"]
   volumeMounts:
     - name: data
       mountPath: /opt/data1   
       subPath: data1           ##挂载的子目录位置
     - name: data
       mountPath: /opt/data2
       subPath: data2
 volumes:
   - name: data
     persistentVolumeClaim:
       claimName: pvc-nfs

6.3.2 pv

apiVersion: v1
kind: PersistentVolume                                          # 类型为PersistentVolume(pv)
metadata:               
  name: pv-nfs                                                          # 名称
spec:
  capacity:
    storage: 1Gi                                                        # 大小
  accessModes:
    - ReadWriteMany                                              # 访问模式
  nfs:
    path: /data/nfs                                                    # nfs共享目录
    server: 192.168.37.141

6.3.3 pvc

apiVersion: v1
kind: PersistentVolumeClaim                             # 类型为PersistentVolumeClaim(pvc)
metadata:
  name: pvc-nfs                                                 # pvc的名称
spec:
  accessModes:
    - ReadWriteMany                                             # 访问模式
  resources:
    requests:
      storage: 1Gi                                              # 大小要与pv的大小保持一致

7. 动态供给

7.1 什么是动态供给

每次使用存储要先创建pv, 再创建pvc，真累! 所以我们可以实现使用存储的动态供给特性。

  • 静态存储需要用户申请PVC时保证容量和读写类型与预置PV的容量及读写类型完全匹配, 而动态存储则无需如此.
  • 管理员无需预先创建大量的PV作为存储资源

Kubernetes从1.4版起引入了一个新的资源对象StorageClass，可用于将存储资源定义为具有显著特性的类（Class）而不是具体

的PV。用户通过PVC直接向意向的类别发出申请，匹配由管理员事先创建的PV，或者由其按需为用户动态创建PV，这样就免去

了需要先创建PV的过程。

7.2 使用NFS文件系统创建存储动态供给

动态供给插件官方地址：storage-class
第三方插件的地址：地址

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

7.2.1 下载storageclass

[root@k8s-master1 ~]# wget https://raw.githubusercontent.com/kubernetes-sigs/nfs-subdir-external-provisioner/master/deploy/class.yaml
[root@k8s-master1 ~]# mv class.yaml storageclass-nfs.yml

[root@k8s-master1 ~]# cat storageclass-nfs.yml
apiVersion: storage.k8s.io/v1
kind: StorageClass				# 类型
metadata:
  name: nfs-client		# 名称,要使用就需要调用此名称
provisioner: k8s-sigs.io/nfs-subdir-external-provisioner 	# 动态供给插件
parameters:
  archiveOnDelete: "false"		# 删除数据时是否存档，false表示不存档，true表示存档

[root@k8s-master1 ~]# kubectl apply -f storageclass-nfs.yml
storageclass.storage.k8s.io/managed-nfs-storage created

[root@k8s-master1 ~]# kubectl get storageclass
NAME         PROVISIONER                                   RECLAIMPOLICY   VOLUMEBINDINGMODE   ALLOWVOLUMEEXPANSION   AGE
nfs-client   k8s-sigs.io/nfs-subdir-external-provisioner   Delete          Immediate           false                  10s

# RECLAIMPOLICY pv回收策略，pod或pvc被删除后，pv是否删除还是保留。
# VOLUMEBINDINGMODE Immediate 模式下PVC与PV立即绑定，主要是不等待相关Pod调度完成，不关心其运行节点，直接完成绑定。相反的 WaitForFirstConsumer模式下需要等待Pod调度完成后进行PV绑定。
# ALLOWVOLUMEEXPANSION pvc扩容

7.2.2 下载并创建rbac

[root@k8s-master1 ~]# wget https://raw.githubusercontent.com/kubernetes-sigs/nfs-subdir-external-provisioner/master/deploy/rbac.yaml​[root@k8s-master1 ~]# mv rbac.yaml storageclass-nfs-rbac.yaml

[root@k8s-master1 ~]# cat storageclass-nfs-rbac.yaml
apiVersion: v1
kind: ServiceAccount
metadata:
  name: nfs-client-provisioner
  # replace with namespace where provisioner is deployed
  namespace: default
---
kind: ClusterRole
apiVersion: rbac.authorization.k8s.io/v1
metadata:
  name: nfs-client-provisioner-runner
rules:
  - apiGroups: [""]
    resources: ["persistentvolumes"]
    verbs: ["get", "list", "watch", "create", "delete"]
  - apiGroups: [""]
    resources: ["persistentvolumeclaims"]
    verbs: ["get", "list", "watch", "update"]
  - apiGroups: ["storage.k8s.io"]
    resources: ["storageclasses"]
    verbs: ["get", "list", "watch"]
  - apiGroups: [""]
    resources: ["events"]
    verbs: ["create", "update", "patch"]
---
kind: ClusterRoleBinding
apiVersion: rbac.authorization.k8s.io/v1
metadata:
  name: run-nfs-client-provisioner
subjects:
  - kind: ServiceAccount
    name: nfs-client-provisioner
    # replace with namespace where provisioner is deployed
    namespace: default
roleRef:
  kind: ClusterRole
  name: nfs-client-provisioner-runner
  apiGroup: rbac.authorization.k8s.io
---
kind: Role
apiVersion: rbac.authorization.k8s.io/v1
metadata:
  name: leader-locking-nfs-client-provisioner
  # replace with namespace where provisioner is deployed
  namespace: default
rules:
  - apiGroups: [""]
    resources: ["endpoints"]
    verbs: ["get", "list", "watch", "create", "update", "patch"]
---
kind: RoleBinding
apiVersion: rbac.authorization.k8s.io/v1
metadata:
  name: leader-locking-nfs-client-provisioner
  # replace with namespace where provisioner is deployed
  namespace: default
subjects:
  - kind: ServiceAccount
    name: nfs-client-provisioner
    # replace with namespace where provisioner is deployed
    namespace: default
roleRef:
  kind: Role
  name: leader-locking-nfs-client-provisioner
  apiGroup: rbac.authorization.k8s.io


[root@k8s-master1 ~]# kubectl apply -f rbac.yaml
serviceaccount/nfs-client-provisioner created
clusterrole.rbac.authorization.k8s.io/nfs-client-provisioner-runner created
clusterrolebinding.rbac.authorization.k8s.io/run-nfs-client-provisioner created
role.rbac.authorization.k8s.io/leader-locking-nfs-client-provisioner created
rolebinding.rbac.authorization.k8s.io/leader-locking-nfs-client-provisioner created

7.2.3 创建动态供给的deployment

[root@k8s-master1 ~]# vim deploy-nfs-client-provisioner.yml
apiVersion: apps/v1
kind: Deployment
metadata:
  name: nfs-client-provisioner
spec:
  replicas: 1
  strategy:
    type: Recreate
  selector:
    matchLabels:
      app: nfs-client-provisioner
  template:
    metadata:
      labels:
        app: nfs-client-provisioner
    spec:
      serviceAccount: nfs-client-provisioner
      containers:
        - name: nfs-client-provisioner
          image: registry.cn-beijing.aliyuncs.com/pylixm/nfs-subdir-external-provisioner:v4.0.0
          volumeMounts:
            - name: nfs-client-root
              mountPath: /persistentvolumes
          env:
            - name: PROVISIONER_NAME
              value: k8s-sigs.io/nfs-subdir-external-provisioner
            - name: NFS_SERVER
              value: 192.168.10.129
            - name: NFS_PATH
              value: /data/nfs
      volumes:
        - name: nfs-client-root
          nfs:
            server: 192.168.10.129
            path: /data/nfs

[root@k8s-master1 ~]# kubectl apply -f deploy-nfs-client-provisioner.yml
deployment.apps/nfs-client-provisioner created

[root@k8s-master1 ~]# kubectl get pods |grep nfs-client-provisioner
nfs-client-provisioner-5b5ddcd6c8-b6zbq   1/1     Running   0          34s

7.2.4 测试动态供给是否可用

# vim nginx-sc.yaml

---
apiVersion: v1
kind: Service
metadata:
  name: nginx
  labels:
    app: nginx
spec:
  ports:
  - port: 80
    name: web
  clusterIP: None
  selector:
    app: nginx
---
apiVersion: apps/v1
kind: StatefulSet
metadata:
  name: web
spec:
  selector:
    matchLabels:
      app: nginx
  serviceName: "nginx"
  replicas: 2
  template:
    metadata:
      labels:
        app: nginx
    spec:
      imagePullSecrets:
      - name: huoban-harbor
      terminationGracePeriodSeconds: 10
      containers:
      - name: nginx
        image: nginx:latest
        ports:
        - containerPort: 80
          name: web
        volumeMounts:
        - name: www
          mountPath: /usr/share/nginx/html
  volumeClaimTemplates:
  - metadata:
      name: www
    spec:
      accessModes: [ "ReadWriteOnce" ]
      storageClassName: "nfs-client"
      resources:
        requests:
          storage: 1Gi

7.2.5 验证

[root@k8s-master1 nfs]# kubectl get pods
NAME                                     READY   STATUS    RESTARTS   AGE
nfs-client-provisioner-9c988bc46-pr55n   1/1     Running   0          95s
web-0                                    1/1     Running   0          95s
web-1                                    1/1     Running   0          61s

nfs-server服务器上查看

[root@nfsserver ~]# ls /data/nfs/
default-www-web-0-pvc-c4f7aeb0-6ee9-447f-a893-821774b8d11f  default-www-web-1-pvc-8b8a4d3d-f75f-43af-8387-b7073d07ec01
GEK1
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
k8s 持久化存储-常见的存储卷介绍
高飞的博客
11-09 26万+
k8s 存储
k8s-数据卷
查士丁尼绵_的博客
08-28 852
为了共享磁盘而创造出来的概念。它是pod的一个组成部分，不是独立的k8s对象，不能单独创建和删除。pod容器中的所有容器都可以使用卷，但必须先将它挂载到容器上，每个容器中都可以在其文件系统的任意位置挂载卷。...
Docker Volume (存储卷)
最新发布
m0_73096566的博客
04-17 1470
Docker Volume (存储卷)
Kubernetes（k8s）——本地存储卷介绍与简单使用（emptyDir，hostPath，local volume）
匠人精神，持之以恒！
07-10 3507
存储卷，简称卷，卷是pod的一部分，卷在pod创建时创建，删除pod时卷也会被销毁，卷可以为pod中的所有容器使用，前提是所有容器都将卷挂载到容器里，卷可以挂载到容器的文件系统中的任意位置。一个pod可以定义多个不同类型的卷，一个容器也可以使用不同类型的多个卷。pod需要设置卷来源（spec.volume）和挂载点（spec.containers.volumeMounts）两个信息后才可以使用相应的Volume。......
k8s - 卷的使用 - pv - pvc
qq_48391148的博客
10-08 1372
Container 中的文件在磁盘上是临时存放的，这给 Container 中运行的较重要的应用程序带来一些问题。 问题之一是当容器崩溃时文件丢失。 kubelet 会重新启动容器，但容器会以干净的状态重启。 第二个问题会在同一Pod中运行多个容器并共享文件时出现。
K8S使用持久化卷存储到NFS（NAS盘）
江宁山人的专栏
04-19 3934
Persistent Volumes：PV是持久化卷，系统管理员设置的存储，它是群集的一部分，是一种资源，所以它有独立于Pod的生命周期Persistent Volume Claim：PVC是用户存储的请求。它与Pod相似，Pod消耗节点的CPU和内存资源，PVC则消耗PV资源，可以声明特定的容量大小和访问模式。
k8s课件k8s课件k8s课件k8s课件
02-15
本节将对k8s的基本概念、监控与日志、应用程序生命周期管理、调度、存储、集群安全等方面进行详细的解释，旨在帮助读者深入了解k8s的各个方面。 k8s基础概念 k8s是一种容器集群管理系统，由Google在2014年开源。k8...
k8s的动态卷之nfs分配器.rar
08-20
"k8s的动态卷之nfs分配器.rar"这个压缩包涉及到的就是Kubernetes中的一个动态卷插件——NFS（Network File System）分配器。 NFS是一种广泛使用的网络文件系统协议，允许不同网络设备之间共享文件系统。在...
阿里云k8s 一键部署nacos2.0.3
01-10
阿里云Kubernetes（简称k8s）是一款强大的容器编排系统，它可以帮助用户轻松管理和部署分布式应用。Nacos是阿里巴巴开源的一款动态服务发现、配置管理和服务管理平台，它为微服务架构提供了关键的支持。在本场景中，...
k8s 创建mysql的 全套yaml文件
04-13
在Kubernetes（k8s）集群中创建MySQL数据库服务，通常涉及到多个YAML文件的配置，这些文件共同定义了MySQL的部署、服务、持久卷和持久卷声明等组件。以下是对这一过程的详细阐述： 首先，`mysql-deployment.yaml`是...
容器云管理之K8S集群概述
01-27
【容器云管理之K8S集群概述】 容器云管理已成为现代企业IT基础设施的重要组成部分，得益于虚拟化技术和容器化的快速发展。企业不再受制于物理硬件的限制，而是通过自动化配置实现业务架构的规模化，能自动扩展和...
K8S实战（十五）| 存储卷概念
程立笔记
09-19 259
前言 容器中的文件在磁盘上是临时存放，容器崩溃重启后，容器将被以干净状态重建，崩溃之前创建的文件将被清除。 K8S 使用卷的概念来管理容器生成的需持久化的文件，卷也可用于同一个 Pod 中多个容器之间共享文件。 更新历史 20200708 - 初稿 - 左程立 原文地址 - https://blog.zuolinux.com/2020/07/08/about-storage-volume.html Volume 的类型 emptyDir 卷 容器崩溃并不会导致 Pod 被从节点上移除，因此容
k8s--基础--18.1--存储卷--介绍
zhou920786312的博客
08-10 200
spec:# 设置存储卷定义volumes:# 存储卷类型# 存储卷名称。
K8s之ConfigMap、Deployment
Halou_baobei的博客
07-21 1412
2、在定义pod模板时，必须定义spec.template.metadata.lables，因为spec.selector.matchLabels是必须字段，而它又必须和spec.template.metadata.lables的键值一致。3、spec.template.metadata.lables里面定义的内容，会应用到spec.template.spec下定义的所有pod副本中，在spec.template.spec.containers里面不能定义labels标签。3、如果发布有问题支持回滚。...
20-【kubernetes】Kubernetes 存储卷
qq_42303254的博客
10-13 528
一、前言 1、根据应用本身是否需要持久存储数据，以及每一次的请求跟此前的请求之间是否有关联性，可以分为四类应用： 有状态、要存储 有状态、无存储 无状态、有存储 无状态、无存储 2、持久化数据的方式 节点级：节点提供存储卷。此方式在k8s上，不太适用。这是因为一旦Pod被删除了，Pod是要被Scheduler组件重新调度的，调度之后的Pod并不一定还能运行在原来的节点上。 脱离节点而存在的共享存储设备。k8s使用这种方式。 3、Pod的特点： 同一个Pod内的多个容器，可共享访问同一个存储卷
Volume数据存储详解
Yosigo_的博客
08-12 2140
数据存储 在前面已经提到，容器的生命周期可能很短，会被频繁地创建和销毁。那么容器在销毁时，保存在容器中的数据也会被清除。这种结果对用户来说，在某些情况下是不乐意看到的。为了持久化保存容器的数据，kubernetes引入了Volume的概念。 Volume是Pod中能够被多个容器访问的共享目录，它被定义在Pod上，然后被一个Pod里的多个容器挂载到具体的文件目录下，kubernetes通过Volume实现同一个Pod中不同容器之间的数据共享以及数据的持久化存储。Volume的生命容器不与Pod中单个容器
实战Kubernetes动态卷存储(NFS)
程序员欣宸的博客
03-25 9660
之前的《 Kubernetes持久卷实战两部曲》系列中，我们实战了先声明一个存储卷，再使用这个存储卷，这种方式要求每次都要提前申明存储，不是很方便，而动态卷存储不需要提前申明，而是使用时自动申明，今天我们就来一起实战； 原文地址：https://blog.csdn.net/boling_cavalry/article/details/79598905 参考资料 在实战前可以参考之前的文章...
K8s的存储卷使用总结
weixin_30799995的博客
08-02 644
K8s的存储卷: 　　它有四种存储卷: 　　1. emptyDir: 空目录,这种存储卷会随着Pod的删除而被清空，它一般作为缓存目录使用，或临时目录， 　　　当做缓存目录时，通常会将一块内存空间映射到该目录上，让Pod做为缓存目录使用。 　　2. hostPath S...
Ubuntu20.04安装Sublime Text 3
ycs_0405的专栏
01-21 906
参考：https://www.jianshu.com/p/bf98115aae82 1.安装依赖，利用HTTPS 添加新的存储库： sudo apt update sudo apt install dirmngr gnupg apt-transport-https ca-certificates software-properties-common 2.将存储库的GPG密钥和Sublime APT存储库导入到系统的软件存储库列表中： curl -fsSL https://download
K8S存储技术简介及使用说明
02-26
"本文主要介绍了K8S存储技术的基础知识，包括存储的分类以及K8S中的存储卷、数据卷类型、持久化存储等概念，旨在帮助读者理解K8S如何处理集群内的存储需求。" Kubernetes（简称K8s）作为一个强大的容器编排系统，...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值