云原生系列（七）—在k8s部署trident对接ontap的nfs存储并创建动态存储类

已于 2024-04-09 10:19:39 修改
阅读量1.1k 收藏 29
点赞数 22
分类专栏： rancher-labs实战 文章标签： 云原生 kubernetes 云计算
于 2024-04-05 16:41:37 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43419745/article/details/137400447
版权

 云原生系列（一）一rancher高可用部署-CSDN博客

云原生系列（二）—单节点多盘位minio部署-CSDN博客

云原生系列（三）一rancher备份-CSDN博客

云原生系列（四）—快速创建k8s生产集群-CSDN博客

云原生系列（五）—metallb安装及layer-2负载配置_metallb 安装-CSDN博客

云原生系列（六）—longhorn分布式存储部署_longhorn 存储-CSDN博客

云原生系列（七）—在k8s部署trident对接ontap的nfs存储并创建动态存储类-CSDN博客

参考文档：

Asta Trident 24.02文档

The Trident operator faichls to install via Helm on Rancher · Issue #839 · NetApp/trident · GitHub

SVM has no assigned aggregates · Issue #112 · NetApp/trident · GitHub

ontap配置命令文档自己研究找对应版本了

集群提供商: RKE2

Kubernetes 版本: v1.27.11 +rke2r1

存储硬件：联想DM5000H（ ontap 9.14.1P1）

基本情况及原理：

基本情况：集群是之前的教程里搭建的生产集群，但是有个问题就是，物理机工作节点采用longhorn存储需要新买硬盘与raid直通卡，无法充分利旧公司已有设备。机房有闲置的联想dm5000h存储，内置系统也是ontap9。支持ontapapi的方式对接。

使用k8s官方的nfs-driver-csi的时候，实测是无法实现pvc和pv的扩容，实际上这个容量限制也是没有用的，因为本身nfs是你共享了一个目录，假定这个目录是最大100G，你的每个pvc实际是里面的文件夹,pvc的大小限制毫无意义，因为这个csi和nfs的沟通就没有关于空间限制这块的。

本质是通过trident与ontapapi对接之后，存储端只创建svm以及aggregate，trident安装时也是带上了nfs-driver-csi，你可以利旧为trident作为中间控制者在存储端创建对应的pv并告知了nfs-driver-csi，然后nfs-driver-csi在k8s这端创建对应的pvc，对于容量的限制和热扩，也是这么个过程，大概是这么个意思。不知道这一段我说的对不对，我的个人理解是这样的。

一、helm部署trident

01、helm部署

trident是netapp官方出的用于k8s与netapp等多个存储对接的csi，差不多可以这么理解。

添加helm仓库（任一master节点执行）

helm repo add netapp-trident https://netapp.github.io/trident-helm-chart

如果你的生产集群和我一样是用rancher拉起的rke2集群，需要进行这一步

 创建1个yaml文件（任一master节点执行）

vi trident-rbac.yaml

文件内容如下（任一master节点执行）

apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRole
metadata:
  name: trident-operator-psa
rules:
- apiGroups:
  - management.cattle.io
  resources:
  - projects
  verbs:
  - updatepsa
---
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRoleBinding
metadata:
  name: trident-operator-psa
roleRef:
  apiGroup: rbac.authorization.k8s.io
  kind: ClusterRole
  name: trident-operator-psa
subjects:
- kind: ServiceAccount
  name: trident-operator
  namespace: trident

 保存文件后应用到k8s集群（任一master节点执行）

kubectl apply -f trident-rbac.yaml

使用helm安装trident（任一master节点执行），这里的源我做了替换，否则会无法拉去镜像

helm install trient netapp-trident/trident-operator --version 100.2402.0 --set imageRegistry=k8s.m.daocloud.io/sig-storage --set operatorImage=docker.m.daocloud.io/netapp/trident-operator:24.02.0 --set tridentAutosupportImage=docker.m.daocloud.io/netapp/trident-autosupport:24.02 --set tridentImage=docker.m.daocloud.io/netapp/trident:24.02.0 --create-namespace --namespace trident

 02、tridentctl安装

wget https://github.com/NetApp/trident/releases/download/v24.02.0/trident-installer-24.02.0.tar.gz
tar -xf trident-installer-24.02.0.tar.gz
cd trident-installer
sudo mv tridentctl  /usr/local/bin

 二、存储端配置

01、nfs通信网口配置（图形化更好配，但是命令行装大逼啊）

我的存储是两个控制器，每个控制器各2个多余的10G光口，每个控制器的2个光口配置成一个聚合口

交换机端配置对应lacp链路聚合就不写了。存储的基础管理配置开局这些也不写了，这个都不知道不会的，也别看我教程了吧。

创建ipspace，后面做故障转移用的上

network ipspace create -ipspace nfs

 查看ipspace

network ipspace show

如图所示

创建广播域

network port broadcast-domain create -broadcast-domain nfs -ipspace nfs

 查看广播域

network port broadcast-domain show

如图所示

创建存储链路聚合口

network port aggregate create -node DM500H-01 -mode multimode_lacp -distr-func ip -ifgrp a1a
network port aggregate create -node DM500H-02 -mode multimode_lacp -distr-func ip -ifgrp a2a

 查看存储聚合口

network port ifgrp show

如图所示聚合口已创建

 链路聚合口移除默认广播域

network port broadcast-domain remove-ports -broadcast-domain Default -ports DM500H-01:e0e
network port broadcast-domain remove-ports -broadcast-domain Default -ports DM500H-01:e0f
network port broadcast-domain remove-ports -broadcast-domain Default -ports DM500H-02:e0e
network port broadcast-domain remove-ports -broadcast-domain Default -ports DM500H-02:e0f

 物理口添加到聚合接口

network port ifgrp add-port -node DM500H-01 -ifgrp a0a -port e0e
network port ifgrp add-port -node DM500H-01 -ifgrp a0a -port e0f
network port ifgrp add-port -node DM500H-02 -ifgrp a0a -port e0e
network port ifgrp add-port -node DM500H-02 -ifgrp a0a -port e0f

注意了，我的版本会在这个时候自动创建一个广播域，然后把聚合口加进去了。

查看接口广播域命令

net port show

如图所示 

 

我实际的需求是聚合口要在一开始创建的名为nfs的广播域和名为nfs的ipspace里面。

继续修改


network port broadcast-domain remove-ports -broadcast-domain Default-1 -ports DM500H-01:a0a
network port broadcast-domain remove-ports -broadcast-domain Default-1 -ports DM500H-02:a0a
network port broadcast-domain add-ports -broadcast-domain nfs -ports DM500H-01:a0a -ipspace nfs
network port broadcast-domain add-ports -broadcast-domain nfs -ports DM500H-02:a0a -ipspace nfs

修改完成查看情况

02、创建存储层（不装逼了，图形化配置）

登陆存储的管理界面，这台联想的DM5000H是支持中文的。本质还是netapp的产品一样。

点个保存完事

搞定如下图 

03、svm创建及nfs的ip配置(继续命令行装逼)

svm0就是用于后面对接给k8s的存储类用的，svm1是存储系统用的。

vserver create -vserver svm0 -subtype default -rootvolume svm1 -aggregate dm5000h -ipspace nfs -rootvolume-security-style unix

查看svm0信息

vserver show -vserver svm0

 如图所示

设置一下结束

vserver modify -vserver svm0 -aggr-list dm5000h

 开启svm0的nfs

vserver nfs create -vserver svm0
vserver nfs modify -vserver svm0 -v3 enabled -v4.0 enabled -v4.1 enabled

配置nfs的ip

network interface create -vserver svm0 -lif lif_nfs1 -role data  -home-node DM500H-01 -home-port a0a -address 10.10.107.190 -netmask 255.255.255.0

配置用于ontapapi对接的ip 

net interface create -vserver svm0 -lif lif_nfs2 -role data -data-protocol none -home-node DM500H-01 -home-port a0a -address 10.10.107.191 -netmask 255.255.255.0

配置网关

net route create -vserver svm0 -destination 0.0.0.0/0 -gateway 10.10.107.1

可以在k8s集群上ping下nfs的ip和对接ontapapi的ip，通了就ok了。

04、svm0的导出策略，也就是访问控制配置

 

我是图省事设了一个地址段，你们可以自行决定

 回到这一步，如下图

拉到最下面点进去

自己设置用户名密码

 存储这边配置结束了。

三、trident配置backend、存储类

01、配置backend

登陆集群随便哪个master节点

创建配置文件

vi backend.yaml

内容如下

version: 1
backendName: dm5000h    #自己定义一个名字
storageDriverName: ontap-nas    #我用的nfs方式，这里写这个，其他方式自己看官网去
managementLIF: 10.10.107.191    #前面在存储配置的管理ip
dataLIF: 10.10.107.190           #前面在存储配置的nfs的ip
svm: svm0                        #存储里创建的svm
username: k8s                    #存储里创建的账号
password: q488pXTyuaJUwsQB         #存储里创建的账号的密码
aggregate: dm5000h                #存储里创建的层

保存文件后添加到集群去。

tridentctl -n trident create backend -f backend.yaml

创建成功会提示如下图

02、配置存储类

登陆集群随便哪个master节点

创建存储类配置文件

vi storage-netapp-csi.yaml

内容如下 

apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
  name: dm5000h
provisioner: csi.trident.netapp.io
parameters:
  backendType: "ontap-nas"
  fsType: "xfs"
reclaimPolicy: Delete
allowVolumeExpansion: true

保存应用到k8s集群

kubectl apply -f storage-netapp-csi.yaml

后面就是创建pvc使用了，不写了，实侧创建pvc自动创建卷，热扩容都没问题。

每创建一个pvc，存储里面会自动创建一个卷。登陆存储可以看到

Z.master
关注
  • 22
    点赞
  • 踩
  • 29
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Storm Trident实战之计算网站PV.rar
05-20
Storm Trident实战之计算网站PV.rar
DSP中的Trident Microsystems已获得CEVA的DSP技术授权
10-21
硅产品知识产权(SIP)平台解决方案和数字信号处理器(DSP)内核授权厂商CEVA公司宣布，Trident Microsystems已获得CEVA的DSP技术授权以实现其机顶盒和电视系统产品线的解调(demodulation)功能。Trident Microsystems近期收购了NXP Semiconductor的电视系统和机顶盒业务，从而成为数字家庭娱乐领域的全球领导厂商，在电视和机顶盒市场中均名列三甲。       CEVA首席执行官Gideon Wertheizer称：“Trident不断扩展其数字家庭娱乐产品线，并将推出一系列全新的创新产品，我们很高兴与之合作并助其一臂之力。CEVA
Maintenance Trident:3 SQL Server数据库维护的存储过程-开源
05-13
< >（JörgStryk）Yaaawwwnnn ...还有另一套SQL Server的数据库维护例程...真的吗？ 确实是的！ 仅添加我对此事的风味，因此您有更多选择！ M3过程应有助于经验丰富的数据库管理员快速实施足够的维护。 基本上，这些过程仅执行必要的维护工作，例如完整性检查，索引重建和统计更新，所有这些工作都与其他实用程序或标准SQL维护计划非常相似。 所不同的是，它们还为较旧SQL Server提供了一些很酷的功能-对于当今的服务器来说，这是“常规”的！ 此外，那些SP易于参数化，并且可以编写比其他协议更详细的协议。
KafkaStormES:这是从Kafka中读取并在Elastic Search中建立索引的简单Apache Storm Trident拓扑
04-28
卡夫卡风暴 这是从Kafka中读取并在Elastic Search中建立索引的简单Apache Storm Trident拓扑。 ##运行此Storm拓扑所需的设置### 1）Zookeeper。 Download from http://apache.osuosl.org/zookeeper/zookeeper-3.4.6/zookeeper-3.4.6.tar.gz CD to zookeeper folder $ cp conf/zoo_sample.cfg conf/zoo.cfg $ bin/zkServer.sh start ### 2）卡夫卡。 Download from http://apache.mirrors.pair.com/kafka/0.8.2.0/kafka_2.10-0.8.2.0.tgz CD to kafka folder $ bin/kafka-
Trident：TridentSDK的服务器和API实现
02-02
三叉戟 Trident项目是新一代多线程，高性能和无尘Minecraft服务器的实现。 最新发布的 获得JAR 方法一：自己构建 如果您确定我们的分发形式有问题，或者您想要在获取JAR文件之前进行一些修改，则希望直接从源代码进行构建。 先决条件 方向 在命令行中输入以下内容： git clone -b [master | bleeding-edge] https://github.com/TridentSDK/Trident.git cd Trident mvn clean install 可以使用master来确保与最新版本的兼容。 否则，对于Trident的最新版本（并且可能会中断），将使用bleeding-edge 。 如果您自己构建JAR，则有责任知道哪种是适合您的。 内置的JAR将./Trident/target/trident-*.jar 方法二：从Sonatype Nexus下载 对于一个预编译的解决方案，它已经通过了我们编写的测试，并且如果您懒得下载2个文件并安装预要求的，则可以自己下载一个。 先决条件 一只 方向 点击“保持” 方法三：从我们这里得到一个 如果
k8s之存储篇---存储类StorageClass
linus.lin的博客
08-28 1772
StorageClass 为管理员提供了描述存储"类"的方法。不同的类型可能会映射到不同的服务质量等级或备份策略，或是由集群管理员制定的任意策略。Kubernetes 本身并不清楚各种类代表的什么。这个类的概念在其他存储系统中有时被称为"配置文件"。
云原生系列（六）—longhorn分布式存储部署
weixin_43419745的博客
03-22 299
重要写在开头，我的教程更多是记录过程，如果你不看各类开源软件的官方文档，不对linux有所了解，我的文档对你的帮助是很有限的。重要写在开头，我的教程更多是记录过程，如果你不看各类开源软件的官方文档，不对linux有所了解，我的文档对你的帮助是很有限的。重要写在开头，我的教程更多是记录过程，如果你不看各类开源软件的官方文档，不对linux有所了解，我的文档对你的帮助是很有限的。
云原生系列（四）—快速创建k8s生产集群
weixin_43419745的博客
03-20 545
如果你没有看过k8s官方文档、没有深入学习过k8s，不建议按照此方式创建k8s集群，此方式更多是类似锦上添花，并非雪中送炭。没有深入学习，此方式不利于你后期对生产环境的运维。k8s生产集群是建议etcd、master、worker节点均分离，且每个角色3台及以上机器的。前面的教程我们已经创建了高可用的rancher以及rancher的备份。先注册3台etcd的，再注册3台master，最后3台worker。集群注册完成后，3个master节点执行命令，改下环境变量。生产集群的9台服务器准备完毕。
云原生存储和云存储有什么区别？
阿里巴巴云原生的博客
11-06 2526
作者 |李鹏（壮怀） 阿里云智能事业群高级技术专家 导读：新的企业负载／智能工作负载容器化、迁云、存储方面遇到的性能、弹性、高可用、加密、隔离、可观测性以及生命周期等方面的问题，不但需要存储产品层次的改进，更需要在云原生的控制／数据平面的改进，推进云原生存储和云存储的演进。本文将介绍一下问题场景，探讨可行的解决方案，最终得出云原生存储以及云存储目前可以做什么和未来还需要做什么。 引言 ...
云原生系列（五）—metallb安装及layer-2负载配置
weixin_43419745的博客
03-22 289
ssh登陆到之前创建的正式k8s集群的任一master节点。参照上一张图，后面全是下一步下一步。配置L2Advertisement。本篇教程基于前面的环境进行操作。配置二层负载均衡地址池。
【云原生之kubernetes实战】在k8s环境下部署WBO在线协作白板
jks212454的博客
10-29 1218
【云原生之kubernetes实战】在k8s环境下部署WBO在线协作白板
【云原生】Kubernetes----POD控制器
hy199707的博客
06-01 260
在Kubernetes（K8s）的庞大生态系统中，Pod控制器是一个核心组件，它负责管理和控制Pod的生命周期。Pod是Kubernetes中最小的可部署计算单元，而Pod控制器则确保Pod按照预期的状态运行，无论面临何种挑战。本文将深入探讨Pod控制器的概念、种类以及它们是如何工作的
BCS2024│云原生安全论坛启动
最新发布
goodxianping的专栏
06-01 85
然而，随着云原生业务的快速发展，诸多安全问题随之而来，如云原生开发流程缺乏安全监管；容器的动态变化和API访问增加了安全风险；云原生安全工具各自为阵，缺乏统一管理和协作能力，给安全运营带来了巨大挑战。为了应对云原生技术应用引入的新安全挑战，适应业务敏捷化转型带来的新安全需求，本次论坛将以“原生融合 安全随行”为主题，邀请来自云原生安全的业界顶级专家、用户以及安全企业展开深入探讨，以提升云原生安全领域的理论建设与实践水平为目标，护航在数字经济浪潮下的云原生产业健康发展。
【二进制部署k8s-1.29.4】一、安装前软件准备及系统初始化
weixin_56364253的博客
05-30 933
本章节主要讲解在安装部署k8s-1.29.4环境之前的一些软件、环境调优的准备工作，本篇采用k8s二进制安装的方式进行部署，该环境是根据在用的一个30节点左右的k8s集群部署流程进行文章整理。
k8s 全面掌控日志系统
ycloud
05-29 755
为了提高系统运维和故障排查的效率， 日志系统采用 ELK（Elasticsearch、Logstash、Kibana）技术栈，通过 FileBeats 作为日志收集器，将来自不同节点的日志数据汇总并存储在 Elasticsearch 中，最终通过 Kibana 进行可视化展示和分析。
【kubernetes】关于k8s集群的污点、容忍、驱逐以及k8s集群故障排查思路
zzzxxx520369的博客
05-29 1057
节点亲和性，是Pod的一种属性（偏好或硬性要求），它使Pod被吸引到一类特定的节点。Taint 则相反，它使节点能够排斥一类特定的 Pod。Taint 和 Toleration 相互配合，可以用来避免 Pod 被分配到不合适的节点上。每个节点上都可以应用一个或多个 taint ，这表示对于那些不能容忍这些 taint 的 Pod，是不会被该节点接受的。如果将 toleration 应用于 Pod 上，则表示这些 Pod 可以（但不一定）被调度到具有匹配 taint 的节点上。
pod详解
m0_66372974的博客
05-28 1003
Pod是kubernetes中最小的资源管理组件，Pod也是最小化运行容器化应用的资源对象。一个Pod代表着集群中运行的一个进程。kubernetes中其他大多数组件都是围绕着Pod来进行支撑和扩展Pod功能的，例如，用于管理Pod运行的StatefulSet和Deployment等控制器对象，用于暴露Pod应用的Service和Ingress对象，为Pod提供存储的PersistentVolume存储资源对象等k8s集群中pod两种使用方式一个Pod中运行一个容器。
使用JavaScript检测浏览器类型，并根据浏览器类型动态加载不同的CSS文件。
04-26
你可以使用navigator对象来检测浏览器类型，具体实现代码如下： ``` var isIE = navigator.userAgent.indexOf("MSIE") !== -1 || navigator.userAgent.indexOf("Trident") !== -1; var isEdge = navigator.userAgent.indexOf("Edge") !== -1; var isFirefox = navigator.userAgent.indexOf("Firefox") !== -1; var isChrome = navigator.userAgent.indexOf("Chrome") !== -1; var isSafari = navigator.userAgent.indexOf("Safari") !== -1 && navigator.userAgent.indexOf("Chrome") === -1; if (isIE) { // 加载IE浏览器对应的CSS文件 var link = document.createElement("link"); link.href = "ie.css"; link.rel = "stylesheet"; document.head.appendChild(link); } else if (isEdge) { // 加载Edge浏览器对应的CSS文件 var link = document.createElement("link"); link.href = "edge.css"; link.rel = "stylesheet"; document.head.appendChild(link); } else if (isFirefox) { // 加载Firefox浏览器对应的CSS文件 var link = document.createElement("link"); link.href = "firefox.css"; link.rel = "stylesheet"; document.head.appendChild(link); } else if (isChrome) { // 加载Chrome浏览器对应的CSS文件 var link = document.createElement("link"); link.href = "chrome.css"; link.rel = "stylesheet"; document.head.appendChild(link); } else if (isSafari) { // 加载Safari浏览器对应的CSS文件 var link = document.createElement("link"); link.href = "safari.css"; link.rel = "stylesheet"; document.head.appendChild(link); } ``` 以上实现方法可根据不同的浏览器类型加载相应的CSS文件。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值