Kubernetes与HPC：（1） RDMA网络

最新推荐文章于 2024-10-11 07:10:24 发布
最新推荐文章于 2024-10-11 07:10:24 发布
阅读量2.2k 收藏 8
点赞数 2
分类专栏： Kubernetes 文章标签： Kubernetes HPC RDMA SRI-OV device plugin
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yiduyangyi/article/details/90183733
版权
本文介绍了RDMA技术，一种允许高通量、低延迟网络通信的技术，尤其适用于大规模并行计算集群。RDMA有InfiniBand、RoCE、iWARP三种实现，其中RoCE在Kubernetes中的应用广泛。文章还探讨了RDMA与DPDK的区别，并详细阐述了如何在Kubernetes中集成RDMA设备，包括使用device plugin和SR-IOV技术。最后，提到了pod多网络解决方案multus。
摘要由CSDN通过智能技术生成

目录

什么是RDMA

在计算机运算领域，远程直接内存访问（英语：remote direct memory access，RDMA）是一种直接存储器访问技术，它将数据直接从一台计算机的内存传输到另一台计算机，无需双方操作系统的介入。这允许高通量、低延迟的网络通信，尤其适合在大规模并行计算机集群中使用。

RDMA实现

常见网络环境

介绍RDMA网络实现之前，先介绍一下常见的几种网络环境：以太网（ethernet）、IB网（Infiniband）、光纤通道（Fibre Channel）。

  • Infiniband

InfiniBand（直译为“无限带宽”技术，缩写为IB）是一个用于高性能计算的计算机网络通信标准，它具有极高的吞吐量和极低的延迟，用于计算机与计算机之间的数据互连。InfiniBand也用作服务器与存储系统之间的直接或交换互连，以及存储系统之间的互连。[1]

  • Ethernet

以太网（英语：Ethernet）是一种计算机局域网技术。IEEE组织的IEEE 802.3标准制定了以太网的技术标准，它规定了包括物理层的连线、电子信号和介质访问层协议的内容。以太网是当前应用最普遍的局域网技术，取代了其他局域网标准如令牌环、FDDI和ARCNET。

  • Fibre Channel<
最低0.47元/天 解锁文章
yiduyangyi
关注
专栏目录
【K8S系列】深入解析k8s网络
颜淡慕潇
05-05 3万+
Kubernetes 提供了多种网络插件，可以根据不同的网络需求和环境来选择适合的网络方案。需要注意的是，在进行网络插件的选择和部署时，需要考虑网络的可靠性、性能和安全性等因素。
云原生RDMA技术综述
lores__的博客
07-26 1194
需要先看下k8s和容器之间的关系，正如下图所示。
在Kubernetes上使用RDMA
weixin_34253539的博客
11-05 1280
RDMA RDMA(全称RemoteDirect Memory Access) 它为了解决网络传输中服务器端数据处理的延迟而产生。 它的原理是将待传输的数据从一台计算机的内存，直接传输到另一台计算机的内存，整个传输过程无需操作系统和协议栈的介入。由于旁路了操作系统协议栈，通讯过程极大的降低了CPU的使用率，减少了内核的内存复制，以及用户态与内核态的上下文...
SR-IOV Network Device Plugin：为Kubernetes带来高性能网络
最新发布
gitblog_00827的博客
10-11 729
SR-IOV Network Device Plugin：为Kubernetes带来高性能网络 sriov-network-device-plugin 项目地址: https://gitcode.com/gh_mirrors/s...
K8s使用RDMA进行高速通信
Darlewo
06-26 3684
K8s使用RDMA进行高速通信
k8s RoCE 部署: k8s-rdma-shared-dev-plugin + macvlan cni
sunshuying1010的博客
05-24 7505
写给自己的入门篇 文章目录前言一、创建 k8s 集群二、启用 primary network三、启用 secondary networkk8s-rdma-shared-dev-pluginMultus CNISecondary CNIMulti-Network CRD四、启用 pod五、在 pod 中启动 RoCE 流量总结 前言 写给自己的扫盲篇。后续会在原理方面持续更新 一、创建 k8s 集群 k8s 集群的创建有多种方法，可以按照官方文档的说明来.
k8s-rdma-sriov-dev-plugin:Kubernetes Rdma SRIOV 设备插件
05-31
[已弃用] 此存储库不再维护 仍然欢迎您探索、学习和使用此处提供的代码。 或者，可以使用存储库 。 k8s-rdma-sriov-dev-plugin ( ) 这是一个简单的 rdma 设备插件，支持 IB 和 RoCE SRIOV vHCA 和 HCA。 这也支持 Mellanox NIC 的 DPDK 应用程序。 这个插件作为 daemonset 运行。 它的容器镜像可以在 rdma/k8s-rdma-sriov-dev-plugin 上找到。 如何使用 SRIOV 模式？ 1.创建每个节点的sriov配置 编辑 example/sriov/rdma-sriov-node-config.yaml 以描述 sriov PF netdevice(s)。 在此示例中，它是eth0和eth1。 注意： (a) 不要添加任何 VF。 (b) 不要手动启用 SRIOV。 该插件为给定的
Kubernetes插件：Volcano与RDMA共享设备插件使用详解
RDMA（Remote Direct Memory Access）是一种允许服务器直接访问远程服务器内存的技术，这样可以减少数据在内存与网络之间传输的开销，进而大幅提升网络通信效率。RDMA技术特别适合那些对网络延迟和吞吐量要求极高的...
k8s 插件volcano&amp;rdma-shared-dev-plugin
06-04
"Volcano&rdma-shared-dev-plugin"则可能是Volcano的一个特定插件，它与RDMA（Remote Direct Memory Access）技术相结合，用于提高集群内部通信效率。 RDMA是一种高效的数据传输技术，允许不同计算节点之间的内存...
【超级计算机集群构建】：高性能计算（HPC）的维护与优化策略
[【超级计算机集群构建】：高性能计算（HPC）的维护与优化策略](https://www.weka.io/wp-content/uploads/2023/04/hpc-architecture-explained-diagram.png) # 1. 超级计算机集群构建基础 超级计算机集群是由多个...
基于 Kubernetes 的云原生 AI 平台建设
Qingcloudedu的博客
08-16 567
人工智能与 Kubernetes 在国外众多知名网站 2021 年对 Kubernetes 的预测中，人工智能技术与 Kubernetes 的更好结合通常都名列其中。Kubernetes 以其良好的扩展和分布式特性，以及强大的调度能力成为运行 DL/ML 工作负载的理想平台。 Prophecis 架构图 上面是微众银行开源的机器学习平台 Prophecis 的架构图，我们可以看到绿色的部分是机器学习平台通常都会有的功能包括训练、开发、模型、数据和应用的管理等功能。而通常这些机器学习平台都是运行在 Ku
k8s-freeflow:完整的解决方案，以支持RDMA（在InfiniBand和RoCE上）并在Kubernetes上加速TCP到裸机的性能
04-27
k8s-freeflow git clone https://github.com/gangliao/k8s-freeflow git submodule update --init --recursive 待办事项清单 IP Hunter：定期将更改的节点写入并映射（vip，pip）到ETCD中 IP Hunter的Docker映像 尚未通过ETCD的Watch模式的RESTful API定期测试ffrouter更新HOST_LIST和vip_map **。 GoogleTest PASS ：ffrouter ETCD V3 API的监视模式 Watch API提供了一个基于事件的接口，用于异步监视键的更改。 etcd3监视程序通过从给定的修订版本（当前版本或历史版本）连续监视来等待密钥更改，并将密钥更新流回客户端。 GoogleTest PASS ：ffrouter的E
深入探讨Kubernetes（K8s）在云原生架构中的关键作用和应用
weixin_65175398的博客
09-07 1156
Kubernetes在云原生架构中扮演着关键的角色，它不仅简化了容器化应用程序的管理，还提供了弹性、自动化和安全性，使开发者能够更轻松地构建和部署现代化的应用程序。随着云原生应用程序的持续崛起，Kubernetes将继续引领着云原生技术的发展。
Kubernetes(k8s)的前世今生
Xtaotech的博客
05-09 1584
理解云计算的实质，Kubernetes就好理解了，它提供的是容器云。在私有数据中心，服务运行在物理主机的Host OS上，云计算场景下运行在虚拟机上，k8s场景下应用运行在容器内，容器替代了虚拟机。 容器是什么? 在Linux上，容器技术的底层实现机制是Linux Kernel的Control Group（CGroup）。它维护各种各样的名字空间（进程ID，IPC，网络等等），并按照Group管理系统资源分配和释放。可以在每个CGroup上施加限制（CPU、内存、IO等等），确保资源的使用配额...
NFV中：DPDK与SR-IOV应用场景及性能对比
lingshengxiyou的博客
11-18 842
SR-IOV没有任何优势。网络数据包到来时，网卡通过 DMA 等拷贝到内核缓冲区，内核协议栈再从内核空间拷贝到用户态空间，在 Linux 内核协议栈中，这个耗时操作甚至占到了数据包整个处理流程的 57.1%。如图3所示：基于 DPDK 的转发路径替换标准的 OVS 内核转发路径，在主机上创建一个用户空间 vSwitch，它完全运行在用户空间中从而提高了 OVS 交换机的性能。从前面的分析得知目前网络IO的实现的方式中，内核是导致性能瓶颈的原因所在，要解决性能问题就需要绕过内核，直接在用户态收发包。
拥抱高性能计算：将Slurm集成为K8s调度程序
h_m_l的博客
11-27 4391
SUNK是一个开源项目（将于 2024 年初发布），它将 Kubernetes 容器化部署和 GitOps 引入 Slurm，并将 Slurm 调度程序插件集成到 Kubernetes。本质上，SUNK 将 Slurm 集成为 Kubernetes 调度程序，并允许 Slurm 作业在 Kubernetes 内运行。这创造了更加无缝的体验，在同一中央平台上支持爆发式和批量工作负载，并允许开发人员利用 Kubernetes 上的 SLURM 资源管理。
qemu-kvm安装and配置桥接和SR-IOV
分享观点和经验，欢迎交流。
10-20 2636
kvm和docker的区别：kvm是全虚拟化，需要模拟各种硬件，docker是容器，共享宿主机的CPU，内存，swap等。本文安装的qemu-kvm属于kvm虚拟化，其中：kvm负责cpu虚拟化和内存虚拟化，QEMU模拟IO设备（网卡、磁盘等）。 参考资料： qemu和docker区别：https://www.cnblogs.com/boyzgw/p/6807986.html qemu，kvm，qemu-kvm关系：https://www.cnblogs.com/echo1937/p/7138294.ht.
软硬件融合加速技术系列文章
烟云的计算
04-02 5082
目录 文章目录目录计算机组成原理Linux 操作系统原理处理器进程管理内存管理I/O 系统文件系统网络协议栈资源管理设备管理GPUFPGASmartNIC/DPU 计算机组成原理 《计算机组成原理 — 冯诺依曼体系结构》 《计算机组成原理 — 基本硬件设备》 《计算机组成原理 — CPU 中央处理器》 《计算机组成原理 — 指令系统》 《计算机组成原理 — 总线系统》 《计算机组成原理 — 存储系统》 《计算机组成原理 — 输入输出系统 — 存储控制器接口类型》 《计算机组成原理 — 服务器》 《计算机组成
计算机网络发展的阶段
胡图图的博客
09-14 5372
计算机网络的发展阶段可以划分为4个阶段： 1 联机终端网络 20世纪50年代到60年代中期，当时计算机比较少，远程终端利用拨号和电话通信线路与计算机主机连接，多个终端共享主机的资源，构成联机终端网络。 联机终端网络的特征是一个主机，多个终端，以主机为中心，终端之间不能进行通信。 ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值