Kubernetes 1.20.5实验记录--数据卷和数据持久化（Ceph RBD PV&PVC）

最新推荐文章于 2024-05-01 02:11:07 发布
最新推荐文章于 2024-05-01 02:11:07 发布
阅读量544 收藏
点赞数
分类专栏： Kubernetes Ceph 文章标签： kubernetes ceph
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/mengshicheng1992/article/details/118017509
版权

Kubernetes 1.20.5实验记录–数据卷和数据持久化（Ceph RBD PV&PVC）

1.1 Ceph RBD PV&PVC

1.1.1 静态方式

1、配置Ceph集群：

略

2、创建存储池：

ceph osd pool create cephpool 128

在这里插入图片描述

3、创建块设备映射：

rbd create --size 1024 cephpool/cephimage --image-feature layering

在这里插入图片描述

4、获取映像列表：

rbd list cephpool

在这里插入图片描述

5、查看映像信息：

rbd info cephpool/cephimage

在这里插入图片描述

6、获取client.admin的keyring值：

ceph auth get-key client.admin | base64
QVFCQVg4bGdlb0RrR2hBQUtFNDg2ZS8rRkVySVFMc3NmNUhmVXc9PQ==

在这里插入图片描述

7、Worker节点安装ceph-common：

yum -y install ceph-common

在这里插入图片描述

8、创建Secret：

Secret中的key为client.admin keyring值的base64编码

文件cephrbd-static-secret.yaml

apiVersion: v1
kind: Secret
metadata:
  name: cephrbd-static-secret
type: kubernetes.io/rbd
data:
  key: QVFCQVg4bGdlb0RrR2hBQUtFNDg2ZS8rRkVySVFMc3NmNUhmVXc9PQ==

kubectl apply -f cephrbd-static-secret.yaml

在这里插入图片描述

9、查看Secret：

kubectl get secret

在这里插入图片描述

10、创建PV：

文件cephrbd-static-pv.yaml

apiVersion: v1
kind: PersistentVolume
metadata:
  name: cephrbd-static-pv
spec:
  capacity:
    storage: 1Gi
  accessModes:
  - ReadWriteOnce
  storageClassName: rbd
  rbd:
    monitors:
    - 192.168.0.100:6789
    pool: cephpool
    image: cephimage
    user: admin
    secretRef:
      name: cephrbd-static-secret
    fsType: xfs
    readOnly: false
  persistentVolumeReclaimPolicy: Recycle

kubectl apply -f cephrbd-static-pv.yaml

在这里插入图片描述

11、查看PV状态：

kubectl get pv

在这里插入图片描述

12、创建PVC：

文件cephrbd-static-pvc.yaml

apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: cephrbd-static-pvc
spec:
  storageClassName: rbd
  accessModes:
  - ReadWriteOnce
  resources:
    requests:
      storage: 1Gi

kubectl apply -f cephrbd-static-pvc.yaml

在这里插入图片描述

13、查看PVC状态：

kubectl get pvc

在这里插入图片描述

14、创建Pod：

文件cephrbd-static-pod.yaml

apiVersion: v1
kind: Pod
metadata:
  name: cephrbd-static-pod
spec:
  containers:
  - name: cephrbd-static-pod
    image: busybox
    args:
    - /bin/sh
    - -c
    - sleep 3000
    volumeMounts:
    - name: data
      mountPath: /data
      readOnly: false
  volumes:
  - name: data
    persistentVolumeClaim:
      claimName: cephrbd-static-pvc

kubectl apply -f cephrbd-static-pod.yaml

在这里插入图片描述

15、查看Pod状态：

kubectl get pod -o wide

在这里插入图片描述

16、查看Pod内挂载情况：

kubectl exec -it cephrbd-static-pod -- sh

在这里插入图片描述

17、删除Pod：

kubectl delete -f cephrbd-static-pod.yaml

在这里插入图片描述

18、删除PVC：

kubectl delete -f cephrbd-static-pvc.yaml

在这里插入图片描述

或

kubectl delete pvc cephrbd-static-pvc

19、删除PV：

kubectl delete -f cephrbd-static-pv.yaml

在这里插入图片描述

或

kubectl delete pv cephrbd-static-pv

20、删除Secret：

kubectl delete -f cephrbd-static-secret.yaml

在这里插入图片描述

1.1.2 动态方式

1、配置Ceph集群：

略

2、创建存储池：

ceph osd pool create cephpool 128

在这里插入图片描述

3、查看存储池：

ceph osd pool ls

在这里插入图片描述

4、创建Kubernetes访问ceph的用户：

ceph auth get-or-create client.kube mon 'allow r' osd 'allow class-read object_prefix rbd_children, allow rwx pool=cephpool' -o ceph.client.kube.keyring

在这里插入图片描述

5、获取client.admin和client.kube的keyring值：

ceph auth get-key client.admin | base64
QVFCQVg4bGdlb0RrR2hBQUtFNDg2ZS8rRkVySVFMc3NmNUhmVXc9PQ==
ceph auth get-key client.kube | base64
QVFCZ2RNbGcrNkRzSXhBQVhqT2ZDV0FwYnhoYXBzU29qQzFXWFE9PQ==

在这里插入图片描述

6、禁用selfLink（1.20.x版本需要配置）

修改/etc/kubernetes/manifests/kube-apiserver.yaml

添加- --feature-gates=RemoveSelfLink=false

在这里插入图片描述

7、Worker节点安装ceph-common：

yum -y install ceph-common

在这里插入图片描述

8、创建rbd provisioner和其他额外配置：

文件夹RBAC文件：

serviceaccount.yaml

apiVersion: v1
kind: ServiceAccount
metadata:
  name: rbd-provisioner

role.yaml

apiVersion: rbac.authorization.k8s.io/v1
kind: Role
metadata:
  name: rbd-provisioner
rules:
- apiGroups: [""]
  resources: ["secrets"]
  verbs: ["get"]
- apiGroups: [""]
  resources: ["endpoints"]
  verbs: ["get", "list", "watch", "create", "update", "patch"]

rolebinding.yaml

apiVersion: rbac.authorization.k8s.io/v1
kind: RoleBinding
metadata:
  name: rbd-provisioner
subjects:
- kind: ServiceAccount
  name: rbd-provisioner
roleRef:
  kind: Role
  name: rbd-provisioner
  apiGroup: rbac.authorization.k8s.io

clusterrole.yaml

apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRole
metadata:
  name: rbd-provisioner
rules:
- apiGroups: [""]
  resources: ["persistentvolumes"]
  verbs: ["get", "list", "watch", "create", "delete"]
- apiGroups: [""]
  resources: ["persistentvolumeclaims"]
  verbs: ["get", "list", "watch", "update"]
- apiGroups: ["storage.k8s.io"]
  resources: ["storageclasses"]
  verbs: ["get", "list", "watch"]
- apiGroups: [""]
  resources: ["events"]
  verbs: ["create", "update", "patch"]
- apiGroups: [""]
  resources: ["services"]
  resourceNames: ["kube-dns","coredns"]
  verbs: ["list", "get"]
- apiGroups: [""]
  resources: ["endpoints"]
  verbs: ["get", "list", "watch", "create", "update", "patch"]

clusterrolebinding.yaml

apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRoleBinding
metadata:
  name: rbd-provisioner
subjects:
- kind: ServiceAccount
  name: rbd-provisioner
  namespace: default
roleRef:
  kind: ClusterRole
  name: rbd-provisioner
  apiGroup: rbac.authorization.k8s.io

deployment.yaml

apiVersion: apps/v1
kind: Deployment
metadata:
  name: rbd-provisioner
spec:
  replicas: 1
  selector:
    matchLabels:
      app: rbd-provisioner
  strategy:
    type: Recreate
  template:
    metadata:
      labels:
        app: rbd-provisioner
    spec:
      serviceAccount: rbd-provisioner
      containers:
      - name: rbd-provisioner
        image: "quay.io/external_storage/rbd-provisioner:latest"
        env:
        - name: PROVISIONER_NAME
          value: ceph.com/rbd

kubectl apply -f RBAC/

在这里插入图片描述

9、查看Pod状态：

kubectl get pod -o wide

在这里插入图片描述

10、创建Secret：

Secret中的key为client.admin和client.kube keyring值的base64编码

文件cephrbd-dynamic-secret.yaml

apiVersion: v1
kind: Secret
metadata:
  name: cephrbd-dynamic-admin-secret
type: kubernetes.io/rbd
data:
  key: QVFCQVg4bGdlb0RrR2hBQUtFNDg2ZS8rRkVySVFMc3NmNUhmVXc9PQ==
---
apiVersion: v1
kind: Secret
metadata:
  name: cephrbd-dynamic-kube-secret
type: kubernetes.io/rbd
data:
  key: QVFCZ2RNbGcrNkRzSXhBQVhqT2ZDV0FwYnhoYXBzU29qQzFXWFE9PQ==

kubectl apply -f cephrbd-dynamic-secret.yaml

在这里插入图片描述

11、查看Secret：

kubectl get secret

在这里插入图片描述

12、创建StorageClass：

文件cephrbd-storageclass.yaml

apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
 name: cephrbd-storageclass
provisioner: ceph.com/rbd
parameters:
 monitors: 192.168.0.100:6789
 adminId: admin
 adminSecretName: cephrbd-dynamic-admin-secret
 pool: cephpool
 userId: kube
 userSecretName: cephrbd-dynamic-kube-secret
 fsType: ext4
 imageFormat: "2"
 imageFeatures: "layering"

kubectl apply -f cephrbd-storageclass.yaml

在这里插入图片描述

13、查看StorageClass：

kubectl get storageclass

在这里插入图片描述

14、创建PVC：

文件cephrbd-dynamic-pvc.yaml

apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: cephrbd-dynamic-pvc
spec:
  accessModes:
  - ReadWriteOnce
  storageClassName: cephrbd-storageclass
  resources:
    requests:
      storage: 1Gi

kubectl apply -f cephrbd-dynamic-pvc.yaml

在这里插入图片描述

15、查看PVC状态：

kubectl get pvc

在这里插入图片描述

16、查看PV状态：

kubectl get pv

在这里插入图片描述

17、获取Ceph集群映像列表：

rbd list cephpool

在这里插入图片描述

18、查看Ceph集群映像信息：

rbd info cephpool/kubernetes-dynamic-pvc-708c1657-ce57-11eb-a208-26db87b01b5e

在这里插入图片描述

19、创建Pod：

文件cephrbd-dynamic-pod.yaml

apiVersion: v1
kind: Pod
metadata:
  name: cephrbd-dynamic-pod
spec:
  containers:
  - name: cephrbd-dynamic-pod
    image: busybox
    args:
    - /bin/sh
    - -c
    - sleep 3000
    volumeMounts:
    - name: data
      mountPath: /data
      readOnly: false
  volumes:
  - name: data
    persistentVolumeClaim:
      claimName: cephrbd-dynamic-pvc

kubectl apply -f cephrbd-dynamic-pod.yaml

在这里插入图片描述

20、查看Pod状态：

kubectl get pod -o wide

在这里插入图片描述

21、查看Pod内挂载情况：

kubectl exec -it cephrbd-dynamic-pod -- sh

在这里插入图片描述

22、删除Pod：

kubectl delete -f cephrbd-dynamic-pod.yaml

在这里插入图片描述

23、删除PVC：

kubectl delete -f cephrbd-dynamic-pvc.yaml

在这里插入图片描述

或

kubectl delete pvc cephrbd-dynamic-pvc

24、删除StorageClass：

kubectl delete -f cephrbd-storageclass.yaml

在这里插入图片描述

25、删除Secret：

kubectl delete -f cephrbd-dynamic-secret.yaml

在这里插入图片描述

26、删除rbd provisioner和其他额外配置：

kubectl delete -f RBAC/

在这里插入图片描述

mengshicheng1992
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Kubernetes 中进行 PVC 的扩容
专注基础架构领域
08-19 1181
Kubernetes 1.11 版本中，PVC 的扩容功能进入了 Beta 阶段，一般来说，Kubernetes 功能进入 Beta 阶段就意味着基本可以用于生产了。这里就做几个小测试，看看这一功能的使用方法。
K8s-ceph-csi-rbd连接资源
06-15
K8s通过rbdcsi连接ceph集群资源文件，已经修改了里面的镜像地址，补全configmap文件，可以直接下载部署
Kubernetes 基于ceph rbd生成pv
小楼一夜听春雨，深巷明朝卖杏花
08-19 3062
1、创建ceph-secret这个k8s secret对象，这个secret对象用于k8s volume插件访问ceph集群，获取client.admin的keyring值，并用base64编码，在master1-admin（ceph管理节点）操作 [root@master1-admin ~]# ceph auth get-key client.admin | base64 QVFDOWF4eGhPM0UzTlJBQUJZZnVCMlZISVJGREFCZHN0UGhMc3c9PQ== 2.创建ce.
K8S中Ceph RBD类型的Volume与PVC/PV的区别
魏波
10-12 558
可以看到，在这个 Pod 的 Volumes 定义中，我们只需要声明它的类型是 persistentVolumeClaim，然后指定 PVC 的名字，而完全不必关心 Volume 本身的定义。可以看到，这个 PV 对象的 spec.rbd 字段，正是我们前面介绍过的 Ceph RBD Volume 的详细定义。（2）这个 Ceph RBD 对应的存储服务器的地址、用户名、授权文件的位置，也都被轻易地暴露给了全公司的所有开发人员，这是一个典型的信息被“过度暴露”的例子。
2024年最全⑤ K8s使用Ceph作为存储、监控、日常运维管理_ceph运维管理平台
最新发布
m0_60229361的博客
05-01 772
管理存储是管理计算的一个明显问题。PersistentVolume子系统为用户和管理员提供了一个API，用于抽象如何根据消费方式提供存储的详细信息。于是引入了两个新的API资源：PersistentVolume和PersistentVolumeClaimPersistentVolume（PV）是集群中已由管理员配置的一段网络存储。集群中的资源就像一个节点是一个集群资源。PV是诸如卷之类的卷插件，但是具有独立于使用PV的任何单个pod的生命周期。
k8s-dynamic-pvc
emailscott的博客
11-16 342
k8s, 动态pvc
云存储---ceph简介架构原理和一些基本概念
01-27
Ceph是一个分布式存储系统，提供对象，块和文件存储，是一个免费开源软件的存储解决方案，可以部署于普通的x86兼容服务器上，可用于解决统一存储的io问题。Ceph诞生于2004年，最早是SageWeil一项关于存储系统的PhD...
ceph-luminous.tar.gz
05-15
ceph-luminous.tar.gz
ceph-mgr-dashboard-14.2.7-0.el7.noarch.rpm
12-10
离线安装包，亲测可用
搭建OKD 4.5集群
mengshicheng1992的博客
11-23 2584
搭建OKD 4.5集群 此文以OKD 4.5版本为例！ 一、系统资源及组件规划 节点名称 系统名称 CPU/内存/网卡 磁盘 IP地址 OS 组件 Bastion bastion.okd.mengshicheng.io 4C/8G/ens192 128G 192.168.15.10 CentOS7 CoreDNS/HAProxy/ETCD/HTTP/Registry Bootstrap bootstrap.okd.mengshicheng.io 4C/8G/ens192 128G 192
搭建OKD 4.5高可用集群
mengshicheng1992的博客
11-23 1627
搭建OKD 4.5集群 此文以OKD 4.5版本为例！ 一、系统资源及组件规划 节点名称 系统名称 CPU/内存/网卡 磁盘 IP地址 OS 组件 Bastion bastion.okd.mengshicheng.io 4C/8G/ens192 128G 192.168.15.10 CentOS7 CoreDNS/HAProxy/ETCD/HTTP/Registry Bootstrap bootstrap.okd.mengshicheng.io 4C/8G/ens192 128G 192
搭建Kubernetes 1.20.5集群（二进制方式）
mengshicheng1992的博客
04-09 1505
搭建Kubernetes集群 此文以Kubernetes 1.20.5版本为例！ 如未指定，下述命令在所有节点执行！ 一、系统资源及组件规划 节点名称 系统名称 CPU/内存 网卡 磁盘 IP地址 OS Master master 2C/4G ens33 128G 192.168.0.10 CentOS7 Worker1 worker1 2C/4G ens33 128G 192.168.0.11 CentOS7 Worker2 worker2 2C/4G ens33 128G 192
搭建Kubernetes 1.20.5高可用集群（kubeadm方式）
mengshicheng1992的博客
04-13 1246
搭建Kubernetes高可用集群 此文以Kubernetes 1.20.5版本为例！ 如未指定，下述命令在所有节点执行！ 一、系统资源规划 节点名称 系统名称 CPU/内存 网卡 磁盘 IP地址 OS Master1 master1 2C/4G ens33 128G 192.168.0.11 CentOS7 Master2 master2 2C/4G ens33 128G 192.168.0.12 CentOS7 Master3 master3 2C/4G ens33 128G 1
搭建Kubernetes 1.20.5高可用集群（二进制方式）
mengshicheng1992的博客
05-01 1059
搭建Kubernetes高可用集群 此文以Kubernetes 1.20.5版本为例！ 如未指定，下述命令在所有节点执行！ 一、系统资源规划 节点名称 系统名称 CPU/内存 网卡 磁盘 IP地址 OS Master1 master1 2C/4G ens33 128G 192.168.0.11 CentOS7 Master2 master2 2C/4G ens33 128G 192.168.0.12 CentOS7 Master3 master3 2C/4G ens33 128G 1
搭建OKD 3.11集群
mengshicheng1992的博客
11-26 794
搭建OKD 3.11集群 此文以OKD 3.11版本为例！ 如未指定，下述命令在所有节点执行！ 一、系统资源规划 节点名称 系统名称 CPU/内存 网卡 磁盘 IP地址 OS Master master.openshift.local 4C/8G ens33 128G+64G 192.168.0.10 CentOS7 Infra infra.openshift.local 4C/8G ens33 128G+64G 192.168.0.11 CentOS7 Worker1 worker
搭建Kubernetes 1.20.5集群（kubeadm方式）
mengshicheng1992的博客
04-09 665
搭建Kubernetes集群 此文以Kubernetes 1.20.5版本为例！ 如未指定，下述命令在所有节点执行！ 一、系统资源规划 节点名称 系统名称 CPU/内存 网卡 磁盘 IP地址 OS Master master 2C/4G ens33 128G 192.168.0.10 CentOS7 Worker1 worker1 2C/4G ens33 128G 192.168.0.11 CentOS7 Worker2 worker2 2C/4G ens33 128G 192.16
Kubernetes 1.20.5实验记录--Network Policy
mengshicheng1992的博客
06-21 378
Kubernetes 1.20.5实验记录–Network Policy 1、创建Deployment： 文件deploy.yaml apiVersion: apps/v1 kind: Deployment metadata: name: deploy spec: replicas: 2 selector: matchLabels: run: deploy template: metadata: labels: run: deploy
Kubernetes 1.20.5实验记录--Service & Ingress
mengshicheng1992的博客
06-18 284
Kubernetes 1.20.5实验记录–Service & Ingress 1.1 Service 1.1.1 Service Backend 1、创建Deployment： 文件deploy.yaml apiVersion: apps/v1 kind: Deployment metadata: name: deploy spec: replicas: 6 selector: matchLabels: run: deploy template: met
openstack 加密ceph rbd卷时， qemu librbd block_luks dm-crypt 之间的关系
06-06
在OpenStack中，当使用Ceph RBD作为后端存储时，可以通过qemu和librbd来实现加密卷的创建和管理，同时使用block_luks和DM-Crypt对数据进行加密和解密。 具体来说，当用户在OpenStack中创建加密卷时，OpenStack会调用Ceph RBD API在Ceph集群中创建一个加密池，用于存储加密卷。然后，OpenStack会使用qemu-img工具在该加密池中创建一个raw格式的磁盘镜像。接下来，OpenStack会使用librbd将该磁盘镜像映射为一个块设备，并将其挂载到OpenStack的虚拟机中。 此时，用户可以使用block_luks命令对该块设备进行加密，并生成一个加密密钥。然后，用户可以使用DM-Crypt将该块设备加密，并将加密密钥存储在Ceph集群中的加密池中的密钥环中。 当用户向加密卷中写入数据时，数据首先被写入到内存中的块设备缓存中，然后通过DM-Crypt加密模块进行加密，加密后的数据被写入到Ceph RBD存储池中。当用户读取数据时，数据首先从Ceph RBD存储池中读取出来，然后通过DM-Crypt解密模块进行解密，解密后的数据被返回给用户。这样，数据在存储和传输过程中都能够得到加密保护。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值