kubernetes部署分布式存储longhorn

最新推荐文章于 2024-06-10 22:41:01 发布
最新推荐文章于 2024-06-10 22:41:01 发布
阅读量5.8k 收藏 19
点赞数 5
分类专栏： kubernetes 文章标签： kubernetes
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/networken/article/details/108234051
版权

本文最近更新于2021.9.13

longhorn简介

Longhorn是用于Kubernetes的轻量级，可靠且功能强大的分布式块存储系统。Longhorn是免费的开源软件，它最初是由Rancher Labs开发。

参考：https://www.rancher.cn/longhorn

在这里插入图片描述

longhorn架构

Longhorn使用容器和微服务实现分布式块存储。Longhorn为每个块设备卷创建一个专用的存储控制器，并在跨多个节点上存储的多个副本同步复制该卷。存储控制器和副本本身使用Kubernetes进行编排。
在这里插入图片描述

hem部署longhorn

参考：
https://artifacthub.io/packages/helm/longhorn/longhorn
https://longhorn.io/docs/1.2.0/deploy/install/install-with-helm/
https://github.com/longhorn/longhorn/blob/master/chart/values.yaml

默认情况下，Longhorn安装需要三个节点的kubernetes群集，因为默认副本数为3，准备3个node节点

[root@master01 ~]# kubectl version --short
Client Version: v1.18.6
Server Version: v1.18.6

[root@master01 ~]# kubectl get nodes
NAME       STATUS   ROLES    AGE     VERSION
master01   Ready    master   35d     v1.18.6
node01     Ready    <none>   35d     v1.18.6
node02     Ready    <none>   35d     v1.18.6
node03     Ready    <none>   5h27m   v1.18.6

所有节点必须安装open-iscsi，并且在所有节点上启用iscsid守护程序。

yum install -y iscsi-initiator-utils
systemctl enable --now iscsid

添加Longhorn Helm存储库：

helm repo add longhorn https://charts.longhorn.io
helm repo update

helm部署longhorn，部分镜像被封锁，需要自行处理：

helm install longhorn \
  --namespace longhorn-system \
  --create-namespace \
  --version 1.2.0 \
  --set image.csi.attacher.repository=willdockerhub/csi-attacher \
  --set image.csi.provisioner.repository=willdockerhub/csi-provisioner \
  --set image.csi.nodeDriverRegistrar.repository=willdockerhub/csi-node-driver-registrar \
  --set image.csi.resizer.repository=willdockerhub/csi-resizer \
  --set image.csi.snapshotter.repository=willdockerhub/csi-snapshotter \
  --set defaultSettings.defaultDataPath="/var/lib/longhorn/" \
  --set defaultSettings.defaultReplicaCount=3 \
  --set service.ui.type=NodePort \
  --set service.ui.nodePort=30890 \
  longhorn/longhorn

查看创建的chart

helm -n longhorn-system ls

查看pod状态

[root@master01 ~]# kubectl -n longhorn-system get pods
NAME                                        READY   STATUS    RESTARTS   AGE
csi-attacher-5b4745c5f7-6bx8w               1/1     Running   1          17h
csi-attacher-5b4745c5f7-bfxch               1/1     Running   3          17h
csi-attacher-5b4745c5f7-cw6n8               1/1     Running   1          17h
csi-provisioner-57d6dbf5f4-5jfsx            1/1     Running   2          17h
csi-provisioner-57d6dbf5f4-rnbt5            1/1     Running   1          17h
csi-provisioner-57d6dbf5f4-rwf7q            1/1     Running   3          17h
csi-resizer-75ff56bc48-6txnn                1/1     Running   1          17h
csi-resizer-75ff56bc48-8x8kf                1/1     Running   2          17h
csi-resizer-75ff56bc48-c6js9                1/1     Running   2          17h
engine-image-ei-ee18f965-9pbmt              1/1     Running   1          17h
engine-image-ei-ee18f965-bpv98              1/1     Running   0          39m
engine-image-ei-ee18f965-h7bcm              1/1     Running   0          17h
engine-image-ei-ee18f965-t8rj4              1/1     Running   1          17h
instance-manager-e-16ac5b81                 1/1     Running   0          149m
instance-manager-e-b73e46cf                 1/1     Running   0          17h
instance-manager-e-c8b085fb                 1/1     Running   0          29m
instance-manager-e-fb21fac1                 1/1     Running   0          149m
instance-manager-r-35cf77e3                 1/1     Running   0          17h
instance-manager-r-70f4cb39                 1/1     Running   0          149m
instance-manager-r-714f9f88                 1/1     Running   0          29m
instance-manager-r-ee454094                 1/1     Running   0          149m
longhorn-csi-plugin-9zgxv                   2/2     Running   4          17h
longhorn-csi-plugin-fkj9z                   2/2     Running   0          17h
longhorn-csi-plugin-w8rmg                   2/2     Running   0          39m
longhorn-csi-plugin-xq6vt                   2/2     Running   2          17h
longhorn-driver-deployer-8558cf45fb-qdfb4   1/1     Running   1          17h
longhorn-manager-kpv8r                      1/1     Running   4          17h
longhorn-manager-vcnkm                      1/1     Running   0          29m
longhorn-manager-vvxxv                      1/1     Running   1          17h
longhorn-manager-xx9xh                      1/1     Running   2          17h
longhorn-ui-65d76ddf9b-xn7r2                1/1     Running   1          17h

默认longhorn部署完成已创建一个名为longhorn的storageclass，可以直接使用。

# kubectl get sc
NAME       PROVISIONER          RECLAIMPOLICY   VOLUMEBINDINGMODE   ALLOWVOLUMEEXPANSION   AGE
longhorn   driver.longhorn.io   Delete          Immediate           true                   28s

创建示例pod，验证pvc及pv部署

kubectl create -f https://raw.githubusercontent.com/longhorn/longhorn/master/examples/pod_with_pvc.yaml

查看创建的pv及pvc

[root@master01 ~]# kubectl get pods
NAME          READY   STATUS    RESTARTS   AGE
volume-test   1/1     Running   0          5m14s

[root@master01 ~]# kubectl get pv
NAME                                       CAPACITY   ACCESS MODES   RECLAIM POLICY   STATUS   CLAIM                       STORAGECLASS   REASON   AGE
pvc-19708d1d-7cef-4800-9a78-b58dabcebe15   2Gi        RWO            Delete           Bound    default/longhorn-volv-pvc   longhorn                5m14s

[root@master01 ~]# kubectl get pvc
NAME                STATUS   VOLUME                                     CAPACITY   ACCESS MODES   STORAGECLASS   AGE
longhorn-volv-pvc   Bound    pvc-19708d1d-7cef-4800-9a78-b58dabcebe15   2Gi        RWO            longhorn       5m19s

在pod所在节点查看创建的块设备

[root@node02 ~]# lsblk | grep pods
sdc               8:32   0    2G  0 disk /var/lib/kubelet/pods/cefcd0f5-cab6-4eaa-a58d-17e3c8fbe989/volumes/kubernetes.io~csi/pvc-19708d1d-7cef-4800-9a78-b58dabcebe15/mount

查看数据存储目录，每个节点都会保存一份pvc数据的副本

[root@node02 ~]# ls /var/lib/longhorn/replicas/
pvc-19708d1d-7cef-4800-9a78-b58dabcebe15-d2569ce8

访问Longhorn UI

[root@master01 ~]# kubectl -n longhorn-system get svc -l app=longhorn-ui
NAME                TYPE       CLUSTER-IP      EXTERNAL-IP   PORT(S)        AGE
longhorn-frontend   NodePort   10.100.119.54   <none>        80:31681/TCP   16h

浏览器访问：http://192.168.93.60:31681

在这里插入图片描述

删除longhorn

helm -n longhorn-system uninstall longhorn
kubectl delete ns longhorn-system

longhorn多磁盘支持

Longhorn支持在节点上使用多个磁盘来存储卷数据。默认情况下，主机上/var/lib/longhorn将用于存储卷数据。您可以通过添加新磁盘来避免使用默认目录，然后对/var/lib/longhorn禁用调度。

要为节点添加新磁盘，请转到longhornUI Node选项卡，选择一个节点，然后在下拉菜单中选择Edit Disks。

要添加任何其他磁盘，用户需要：

  • 将主机上的磁盘安装到某个目录。
  • 将已安装磁盘的路径添加到节点的磁盘列表中。

Longhorn将自动检测有关磁盘的存储信息（例如最大空间，可用空间），并在可能的情况下开始计划磁盘上的卷。不允许使用现有磁盘安装的路径。

参考：https://longhorn.io/docs/1.0.2/volumes-and-nodes/multidisk/

示例：为节点添加新磁盘，并创建为lvm卷，格式化卷并挂载到某个目录，例如/opt/longhorn

pvcreate /dev/sdf
vgcreate vg-longhorn-stor /dev/sdf
lvcreate -n lv-longhorn-stor -l 100%VG vg-longhorn-stor
mkfs.xfs /dev/vg-longhorn-stor/lv-longhorn-stor

cat >> /etc/fstab <<EOF
/dev/vg-longhorn-stor/lv-longhorn-stor /opt/longhorn/    xfs     defaults    0 0
EOF
mount -a

访问longhornUI，选择Node—>Operation—>Edit node and disks

在这里插入图片描述
选择Add Disk，填写挂载目录到Path下
在这里插入图片描述
保存后节点可调度的存储空间自动扩容
在这里插入图片描述

删除磁盘

删除磁盘：

  1. 禁用磁盘调度。
  2. 删除磁盘上的所有副本。建议一步一步地进行操作，因为此步骤将触发副本在其他节点的重建。
  3. 删除磁盘。

选择Node—>Replicas，点击某个node的replicas数字，勾选replicas选择Delete删除即可。
在这里插入图片描述

删除节点

删除节点：

  1. 禁用磁盘调度。
  2. 删除节点上的所有副本。 建议一步一步地删除副本，因为此步骤将触发副本的重建。
  3. 分离节点上的所有卷。
    如果该节点已耗尽，则所有工作负载都应已迁移到另一个节点。
    如果还有其他卷仍要连接，请先分离它们，然后再继续。
  4. 使用以下方法从Kubernetes中删除该节点：
    kubectl delete node <node-name>
  5. 删除Longhorn中的节点。
willops
关注
  • 5
    点赞
  • 踩
  • 19
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
专栏目录
Kubernetes - 实战：持久化存储（Longhorn）
qq_33240556的博客
04-19 576
确保在使用过程中参考最新的Longhorn文档以获取最准确的操作指南和最新特性支持。这将会部署所有必要的Longhorn组件以及默认设置。
Kubernetes入门——Longhorn简介
日积月累，天道酬勤
06-02 4081
Longhorn是由Rancher创建的一款云原生的、轻量级、可靠且易用的开源分布式块存储系统。部署到K8s集群上之后，Longhorn会自动将集群中所有节点上可用的本地存储聚集为存储集群，然后利用这些存储管理分布式、带有复制功能的块存储，支持快照和数据备份。
Helm在线部署Longhorn(1.6.0版本)分布式存储
最新发布
qq_23191379的博客
06-10 250
k8s 持久化分布式存储Longhorn
K8S上安装LongHorn(分布式块存储) --use
justlpf的专栏
03-15 875
给节点打标签 部署LongHorn 官网地址: longhorn-官网安装 vi longhorn.yaml 查找 , 并在其中添加如下内容： 添加效果参考:longhorn.yaml 查看pod状态 等待Pod启动：一旦存储库创建成功，系统将启动一系列的。检查的状态： 确认所有的都处于""状态。 设置svc服务 浏览器访问 在浏览器访问此端口即可 接下来，您需要创建一个存储类，以便为应用程序提供块存储。您可以将以下内容保存为 文件： 创建P
longhorn安装与使用
TimeRovers的博客
06-19 2200
longhorn安装
分布式块存储Longhorn简介
leadersnowy的专栏
02-24 7929
Longhorn 是用于 Kubernetes 的轻量级、可靠且功能强大的分布式块存储系统。 Longhorn使用容器(containers)和微服务(microservices)实现分布式块存储。 Longhorn 为每个块设备卷(device volume)创建一个专用的存储控制器(storage controller)， 并跨存储在多个节点上的多个副本同步复制该卷。 存储控制器(storage controller)和副本(replicas)本身是使用 Kubernetes 编排的。
容器化分布式存储项目Longhorn介绍.pptx
10-11
Longhorn是一款专为Kubernetes设计的开源容器化分布式存储系统，致力于解决有状态负载(stateful workload)在选择合适存储系统时面临的挑战。传统的存储提供商，如EMC和NetApp，以及云服务商，如AWS和阿里云，往往不...
新一代容器化分布式存储项目Longhorn介绍.pptx
10-11
新一代容器化分布式存储项目 Longhorn 是一个基于 Kubernetes 的企业级分布式块存储系统，旨在解决容器化存储面临的挑战。Longhorn 的出现是为了满足应用“一次编写，到处运行”的需求，而传统的存储提供商和云服务...
新一代容器化分布式存储项目Longhorn概述.pptx
10-11
Longhorn是一款专为Kubernetes设计的新一代容器化分布式存储系统，它旨在解决传统存储解决方案在面对有状态负载(stateful workload)时的挑战。在Kubernetes环境中，应用期望能够实现“一次编写，到处运行”，但传统...
新一代容器化分布式存储项目Longhorn介绍.pdf
10-11
Longhorn是一款专为Kubernetes设计的新一代容器化分布式存储项目，旨在解决有状态负载(stateful workload)在选择合适存储系统时面临的挑战。传统的存储提供商，如EMC和NetApp，以及云服务商，如AWS和阿里云，往往不...
Longhorn:Kubernetes 的云原生分布式块存储-开源
07-20
Longhorn 为 Kubernetes 提供高度可用的持久存储。 它轻巧、简化、可靠且功能强大。 它易于部署和升级，是云原生的，最重要的是完全免费和开源。 Longhorn 内置了增量快照和备份功能，保证了 Kubernetes 集群内外卷...
Longhorn部署
NIEEPN的博客
02-13 470
k8s适用Longlorn的部署方式
k8s 使用helm安装longhorn存储控制器
ApexPredator的博客
06-09 1110
k8s 使用helm安装longhorn存储控制器
external-attacher源码分析(2)-核心处理逻辑分析
良凯尔的博客
07-10 463
ceph-csi分析-external-attacher分析。external-attacher属于external plugin中的一个，辅助csi plugin，共同完成了存储相关操作。external-attacher watch volumeAttachment对象，调用csi plugin做attach/dettach操作，修改volumeAttachment对象与pv对象。
Longhorn 企业级云原生容器存储解决方案-部署篇
o__cc的博客
08-18 1199
内容来源于官方 Longhorn 1.1.2 英文技术手册。 系列 Longhorn 是什么? Longhorn 云原生分布式块存储解决方案设计架构和概念 安装 Longhorn 可以通过多种方式安装在 Kubernetes 集群上： Rancher catalog app kubectl Helm 安装要求 安装 Longhorn 的 Kubernetes 集群中的每个节点都必须满足...
longhorn部署
这是一个将要崛起小达人
03-15 310
部署longhorn: helm install longhorn -n longhorn-system . 更新helm upgrade longhorn -n longhorn-system .添加官方的helm仓库：helm repo add longhorn https://charts.longhorn.io。先将helm包下载到本地：helm fetch longhorn/longhorn --version 1.3.2。前提是k8s环境已经部署完成。
在K8S中Longhorn存储
海鸥
02-27 1215
Longhorn 是用于 Kubernetes 的轻量级、可靠且功能强大的分布式块存储系统。Longhorn使用容器(containers)和微服务()实现分布式块存储。Longhorn为每个块设备卷()创建一个专用的存储控制器()， 并跨存储在多个节点上的多个副本同步复制该卷。存储控制器()和副本(replicas)本身是使用 Kubernetes 编排的。
实战：k8s之Longhorn备份恢复-2022.2.26
weixin_39246554的博客
02-26 1540
目录 文章目录目录实验环境实验软件1、备份恢复📍 案例演示：longhorn备份恢复(成功测试)1️⃣ 手动快照2️⃣ 周期性快照和备份3️⃣ 使用 Kubernetes 的 StorageClass 来配置定时快照4️⃣ 使用备份卷2、ReadWriteMany📍 案例演示：LongHorn的RWX功能测试(测试成功)QA📍 注意:`LongHorn Engine`📍 LongHorn的RWX使用场景：wordpress关于我最后 实验环境 实验环境： 1、win10,vmwrokstation虚机； .
kubernets Deployment 无状态服务
m0_59041021的博客
04-27 364
pod 是什么 运行中的一组容器，Pod是kubernetes中应用的最小单位. 1.0 pod 1.1创建pod root@master kubernets]# kubectl run nginx --image=nginx pod/nginx created [root@master kubernets]# kubectl get pod NAME READY STATUS RESTARTS AGE nginx 1/1 Running 0 2m9s
Longhorn：轻松构建企业级分布式存储
"Longhorn是Rancher Labs开发的一款专注于分布式块存储的企业级持久化存储解决方案。本资料适合中初级用户学习，旨在帮助用户理解和使用Longhorn。与一些提供分布式文件系统和企业级功能的存储系统（如Ceph、Gluster...
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值