vsphere添加数据存储_使用容器化块存储OpenEBS在K3s中实现持久化存储

最新推荐文章于 2024-09-26 07:27:07 发布

weixin_39732825

最新推荐文章于 2024-09-26 07:27:07 发布

阅读量217

点赞数

文章标签： vsphere添加数据存储

本文链接：https://blog.csdn.net/weixin_39732825/article/details/112414700

版权

本文介绍了如何在vSphere中设置K3OS，使用OpenEBS提供容器化块存储以实现K3s集群的持久化存储。K3OS是专为K3s设计的轻量级操作系统，OpenEBS则是一款针对Kubernetes的开源容器化存储解决方案。详细步骤包括K3OS的安装、配置，以及OpenEBS的cStor存储池和volume的创建。

摘要由CSDN通过智能技术生成

作者简介

Giridhara Prasad，Mayadata Inc.首席工程师。在软件测试自动化、混沌工程(chaos engineering)方面有丰富的经验。目前，他正在研究开源混沌工程项目Litmus。

K3OS是一个Linux发行版，专为轻量级Kubernetes发行版K3s打造的轻量操作系统。它为K3s的顺利运行专门设计了一些功能。在本文中，我将介绍安装K3OS的步骤以及如何设置OpenEBS。OpenEBS是一个CNCF项目，是一款针对Kubernetes有状态工作负载的开源容器化存储解决方案。

在vSphere中设置K3OS

K3OS的内核是从Ubuntu-18.04 LTS中fork出来的，它的用户空间二进制文件来自alpine。因此在创建虚拟机时，需要选择Ubuntu Linux(64位)作为客户操作系统。

选择客户操作系统

从Github上的release页面下载最新的K3OS iso文件(撰写文章时最新版本为v0.9.0，目前已经更新到v0.10.1)，将iso文件添加到虚拟机中，然后使用实时安装选项启动它，如下所示：

选择K3OS LiveCD & Install，并启动操作系统。

实时安装

成功启动之后，你将进入登录提示。K3OS中的默认用户是rancher，你无需密码即可登录该用户。

登录提示

执行了实时安装之后，你需要将操作系统安装到磁盘并将机器配置为server(master)或agent(worker)。这可以通过运行命令sudo k3os install来执行。

选择选项1，即Install to disk，以将K3OS安装到磁盘。并且需要为rancher用户设置新密码，以启用与服务器的ssh通信。

安装到磁盘中

你需要选择server或agent以在计算机中安装相关组件。现在，我们选择server来部署K3s server组件。你可以设置token或集群密钥，当需要将K3s agent加入server时可以使用。

Server安装

完成安装之后，屏幕如下所示：

登录提示

K3s server已经被成功配置。如果未配置DHCP，则需要使用connmanctl分配IP地址和其他详细的网络信息，然后以rancher用户身份登录server，输入在上一步中配置的密码。通过执行以下命令，让我们找到绑定在eth0设备上的connman网络服务：

sudo connmanctl services

执行以上命令之后，将会列出如下服务：

验证服务后，你可以通过以下命令分配IP地址、网络掩码、网关和DNS服务。

sudo connmanctl config <ethernet service> --ipv4 manual <IP Address> <Netmask> <gateway> --nameservers <DNS Address>

执行以上命令之后，可以通过ifconfig命令，确保网络是否已经配置正确。在完成网络设置之后，重启机器。

安装K3s agent

在K3s术语中，Kubernetes worker被称为agent。将K3OS安装到磁盘中时，你需要选择选项2，agent，以在计算机中配置K3s agent。

选择了Agent之后，你需要提供agent必须配置到的server的URL。K3s server的URL可以通过以下方式生成。

https://:6443

键入URL之后，你需要提供集群密钥，该密钥在server安装过程已经配置完成。在输入完成以上内容之后，启动agent部署。

开始配置网络，方式与上述配置server网络相同，然后重启计算机。重启之后，请按照以下步骤检查server中的集群状态。

k3os-1374 [~]$ kubectl get nodesNAME         STATUS   ROLES    AGE     VERSIONk3os-1374    Ready    master   10m    v1.17.2+k3s1k3os-15360   Ready    <none>   10m    v1.17.2+k3s1k3os-1091    Ready    <none>   10m    v1.17.2+k3s1

执行以下命令，检查集群组件是否已经配置成功，并且所有pod是否已经成功运行。

k3os-1374 [~]$ kubectl get pods -n kube-systemNAME                                      READY   STATUS      RESTARTS   AGEhelm-install-traefik-nmjvj                0/1     Completed   0          3dsvclb-traefik-gp9ff                       2/2     Running     1         2d23hsvclb-traefik-qgdlx                       2/2     Running     0         2d23hlocal-path-provisioner-58fb86bdfd-wkdtm   1/1     Running     1         3dmetrics-server-6d684c7b5-mrxsr            1/1     Running     0         3dsvclb-traefik-c4v7l                       2/2     Running     0         3dcoredns-d798c9dd-td5tr                    1/1     Running     0         3dtraefik-6787cddb4b-n57jz                  1/1     Running     0         3d

安装OpenEBS

OpenEBS是一个CNCF项目，可以为Kubernetes中部署的工作负载提供持久性块存储。除了Jiva和Local PV之外，cStor也是OpenEBS提供的存储引擎之一。而根据这一issue(https://github.com/rancher/k3os/issues/151 )通过在v0.9.0中添加了对udev的支持才在K3OS中支持cStor。

k3os-1374 [~]$ kubectl apply -f openebs-operator-1.7.0.yaml namespace/openebs createdserviceaccount/openebs-maya-operator createdclusterrole.rbac.authorization.k8s.io/openebs-maya-operator createdclusterrolebinding.rbac.authorization.k8s.io/openebs-maya-operator createddeployment.apps/maya-apiserver createdservice/maya-apiserver-service createddeployment.apps/openebs-provisioner createddeployment.apps/openebs-snapshot-operator createdconfigmap/openebs-ndm-config createddaemonset.apps/openebs-ndm createddeployment.apps/openebs-ndm-operator createddeployment.apps/openebs-admission-server createddeployment.apps/openebs-localpv-provisioner created

检查是否所有的OpenEBS组件都成功运行。

k3os-1374 [~]$ kubectl get pods -n openebsNAME                                           READY   STATUS    RESTARTS   AGEopenebs-admission-server-f67f77588-8kl78       1/1     Running   0          65sopenebs-provisioner-7b8c68bf44-7bjw8           1/1     Running   0          66sopenebs-ndm-qp26v                              1/1     Running   0          66sopenebs-ndm-84zb4                              1/1     Running   0          66sopenebs-ndm-dzghs                              1/1     Running   0          66sopenebs-localpv-provisioner-5c87bbd974-55486   1/1     Running   0          65sopenebs-ndm-operator-5fccfb7976-dvhj6          1/1     Running   0          66sopenebs-snapshot-operator-6c4c64d4bc-qxdwd     2/2     Running   0          66smaya-apiserver-84785d7fbd-ck7sh                1/1     Running   0          66s

OpenEBS cStor引擎需要将外部磁盘连接到组成cStor池的agent上。磁盘或块设备由称为节点磁盘管理器(简称为NDM)的组件管理。将磁盘连接到agent计算机后，通过执行以下命令来检查块设备。

k3os-1374 [~]$ kubectl get blockdevices -n openebsNAME                                           NODENAME     SIZE          CLAIMSTATE   STATUS   AGEblockdevice-30a3eb18f5b9e2d470de45e39f1036b0   k3os-15360   17179869184   Unclaimed    Active   1hblockdevice-86fc964305abe8970fc1508538a61dbc   k3os-1374    17179869184   Unclaimed    Active   1hblockdevice-b8735721689d5843bca10e7028f60a4e   k3os-1091    17179869184   Unclaimed    Active   1h

在本例中，每个K3s agent计算机上都已连接1个块设备。让我们在spec.blockDevices下的池中创建manifest，然后创建池。

apiVersion: openebs.io/v1alpha1kind: StoragePoolClaimmetadata:  name: cstor-disk-pool  annotations:    cas.openebs.io/config: |      - name: PoolResourceRequests        value: |-            memory: 2Gi      - name: PoolResourceLimits        value: |-            memory: 4Gispec:  name: cstor-disk-pool  type: disk  poolSpec:    poolType: striped  blockDevices:    blockDeviceList:    - blockdevice-30a3eb18f5b9e2d470de45e39f1036b0    - blockdevice-86fc964305abe8970fc1508538a61dbc     - blockdevice-b8735721689d5843bca10e7028f60a4e

应用以上定义之后，通过执行以下命令检查池是否创建成功。

k3os-1374 [~]$ kubectl get cspNAME                   ALLOCATED   FREE    CAPACITY   STATUS    TYPE      AGEcstor-disk-pool-rgy3   270K        15.9G   15.9G      Healthy   striped   2m3scstor-disk-pool-gij4   270K        15.9G   15.9G      Healthy   striped   2m2scstor-disk-pool-09l1   270K        15.9G   15.9G      Healthy   striped   2m2s

所有的池实例应该是健康的并且每个实例运行一个pod，通过执行以下命令可以找到pod：

k3os-1374 [~]$ kubectl get pods -n openebs -l app=cstor-poolNAME                                    READY   STATUS    RESTARTS   AGEcstor-disk-pool-rgy3-57f965b48c-srz2x   3/3     Running   0          8m33scstor-disk-pool-gij4-77bb4b8f44-s6k89   3/3     Running   0          8m33scstor-disk-pool-09l1-56d444996b-m698h   3/3     Running   0          8m33s

创建cStor池之后，我们可以开始创建volume。为了能够说明清楚，我们部署一个带有cStor volume的busybox，作为其持久性存储。在创建池之前，我们需要创建一个storage class，它会指定在上述步骤中创建的storagePoolClaim，具体如下所示：

apiVersion: storage.k8s.io/v1kind: StorageClassmetadata:  name: openebs-cstor  annotations:    openebs.io/cas-type: cstor    cas.openebs.io/config: |      - name: StoragePoolClaim        value: "cstor-disk-pool"      - name: ReplicaCount        value: "3"provisioner: openebs.io/provisioner-iscsi

根据上述定义中的要求，填充storagePoolClaim和ReplicaCount并创建storage class。创建PVC时必须使用此类存储。

kind: PersistentVolumeClaimapiVersion: v1metadata:  name: openebs-pvcspec:  storageClassName: openebs-cstor  accessModes:    - ReadWriteOnce  resources:    requests:      storage: 10Gi---apiVersion: v1kind: Servicemetadata:  labels:    name: busybox  name: busyboxspec:  clusterIP: None  selector:    app: busybox---apiVersion: apps/v1kind: Deploymentmetadata:  name: busybox  labels:    app: busyboxspec:  selector:    matchLabels:      app: busybox  template:    metadata:      labels:        app: busybox    spec:      containers:      - name: app-busybox        imagePullPolicy: IfNotPresent        image: busybox        command: ["/bin/sh"]        args: ["-c", "while true; do sleep 10;done"]        env:        volumeMounts:        - name: data-vol          mountPath: /busybox      volumes:      - name: data-vol        persistentVolumeClaim:          claimName: openebs-pvc

在上述manifest中升级storage class之后，让我们通过应用以上定义来部署busybox应用程序。通过查看它们的状态来检查PVC是否在应用程序pod上成功创建和成功挂载。

k3os-1374 [~]$ kubectl get pvcNAME          STATUS   VOLUME                                     CAPACITY   ACCESS MODES   STORAGECLASS    AGEopenebs-pvc   Bound    pvc-6cd2b30a-49ed-4605-b1e0-dd23c45e548d   10Gi       RWO            openebs-cstor   4m35sk3os-1374 [~]$ kubectl get podsNAME                       READY   STATUS    RESTARTS   AGEbusybox-748fb77c75-9lwzz   1/1     Running   0          4m42s

由于我们在storage class中将ReplicaCount指定为3，因此需要创建3个volume副本，你可以通过执行以下命令来找到它们。

k3os-1374 [~]$ kubectl get cvr -n openebsNAME                                                            USED    ALLOCATED   STATUS    AGEpvc-6cd2b30a-49ed-4605-b1e0-dd23c45e548d-cstor-disk-pool-09l1   7.95M   116K        Healthy   6m37spvc-6cd2b30a-49ed-4605-b1e0-dd23c45e548d-cstor-disk-pool-rgy3   7.95M   116K        Healthy   6m37spvc-6cd2b30a-49ed-4605-b1e0-dd23c45e548d-cstor-disk-pool-gij4   7.95M   116K        Healthy   6m37s

因此，可以使用cStor引擎为K3s中的工作负载提供持久卷。

原文链接：

https://openebs.io/blog/getting-started-with-k3s-in-vsphere-and-openebs-cstor/

推荐阅读仅需60秒，使用k3sup快速部署高可用K3s集群在本地运行Kubernetes的3种主流方式这4件事，让你了解边缘计算的真实面貌

About K3s

K3s 是目前全球用户量最大的 CNCF 认证轻量级 K8S 发行版。自 2019 年 3 月发布以来，备受全球开发者们关注。至今，GitHub Stars 数已超过 12,000，成为了开源社区最受欢迎的边缘计算 K8S 解决方案。

K3s 专为在资源有限的环境中运行 Kubernetes 的研发和运维人员设计，将满足日益增长的在边缘计算环境中运行在 x86、ARM64 和 ARMv7 处理器上的小型、易于管理的 Kubernetes 集群需求。K3s 的发布，为开发者们提供了以“Rancher 2.X + K3s”为核心的从数据中心到云到边到端的 K8S 即服务(Kubernetes-as-a-Service)，推动 Kubernetes Everywhere。