【NVSHMEM】NVSHMEM文档

已于 2025-06-03 10:31:07 修改
阅读量908 收藏 24
点赞数 22
CC 4.0 BY-SA版权
分类专栏： 人工智能|大数据 文章标签： 人工智能 NCCL
于 2025-05-31 17:12:27 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/bandaoyu/article/details/148350165

NVIDIA OpenSHMEM Library (NVSHMEM) Documentation

NVIDIA OpenSHMEM Library (NVSHMEM) Documentation — NVSHMEM 3.2.5 documentation

NVSHMEM为NVIDIA® GPU集群实现了OpenSHMEM并行编程模型。该技术采用分区全局地址空间（PGAS）架构，可将内存跨GPU扩展，并提供以下功能接口：

  1. 支持在CUDA内核内部直接发起细粒度GPU-GPU数据传输
  2. 支持基于CUDA流的数据传输
  3. 支持从CPU端发起数据传输

目录：

附录 Indices and tables

多节点多 GPU：大规模使用 NVIDIA cuFFTMp FFT
qq_27815483的博客
07-11 1207
本文主要介绍了多节点多 GPU：大规模使用 NVIDIA cuFFTMp FFT
nvshmem介绍及其在deepep中的使用
fengcai_ke的博客
05-05 2199
集群中参与nvshmem操作的每个进程认为是一个PE(processing element)，每个PE分配唯一ID。PE之间可通过对称内存进行通信和数据共享，对称内存通过nvshmem_malloc进行分配，使用其他api分配的内存都是私有的。官方文档：https://docs.nvidia.com/nvshmem/api/introduction.html。
NVSHMEM安装及使用
jkjgj的博客
10-14 3791
NVSHMEM 是 NVIDIA 提供的一个并行编程库，专门用于在 GPU 集群或多 GPU 系统中实现高效的共享内存访问。它通过使用共享内存来实现 GPU 间的数据通信，适合大规模并行计算应用，尤其是那些需要在多个 GPU 之间快速交换数据的场景。
【NVSHMEM】NVSHMEM 3.0新增特性和兼容性
最新发布
bandaoyu的note
06-21 196
NVSHMEM是NVIDIA Magnum IO的一部分，基于OpenSHMEM， NVSHMEM为跨越多个gpu内存的数据创建了一个全局地址空间，可以通过细粒度的gpu发起的操作，cpu发起的操作和CUDA流上的操作来访问。NVSHMEM 3.0在IBGDA中增加了对一种称为cpu辅助IBGDA的新模式的支持，它作为基于代理的网络和传统IBGDA之间的中间模式。它还允许NIC助手在运行时动态选择CPU或GPU。相反，NVSHMEM使用异步的、GPU发起的数据传输，消除了CPU和GPU之间的同步开销。
DeepSeek 开源周第二弹！DeepEP：专为 MoE 训练和推理设计的并行通信库
士多啤梨先生の博客
02-25 1338
DeepEP 是 DeepSeek 开源的首个专为混合专家模型（MoE）训练和推理设计的通信库，支持高吞吐量、低延迟通信，优化 NVLink 和 RDMA 网络性能。
DeepEP通信库
m0_49448331的博客
02-25 1087
DeepEP 是一个高效的专家并行通信库，专为 MoE 模型的训练和推理优化。它通过提供高吞吐量和低延迟的 GPU 内核（也称为 MoE 分发和组合操作），显著降低了 MoE 模型在分布式训练和推理中的通信瓶颈。根据 DeepSeek 的描述，DeepEP 旨在支持大规模 AI 工作负载，减少训练成本，提高性能，并使先进 AI 研究更加可访问。
DeepEP - 针对混合专家（MoE）和专家并行（EP）的通信库
技术文档翻译分享
03-02 966
一、关于 DeepEP 二、性能 1、带有 NVLink 和 RDMA 转发的常规内核 2、低延迟内核，纯RDMA 三、快速开始 1、需要 2、下载并安装 NVSHMEM 依赖 3、开发 4、安装 四、网络配置 1、交通隔离 2、自适应路由 3、拥塞控制 五、接口和示例 1、在模型训练或推理预填充中的示例用途 2、在推理解码中的示例使用 六、通知 未定义行为的 PTX 使用 自动调优您的集群
NCCL使用指南-进阶篇
father_yingying的博客
04-10 819
前文介绍了NCCL的常用环境变量，本文介绍了NCCL-test性能基准测试，以及一些大规模集群测试的经验数据。
DeepSeek开源周第二天：DeepEP MoE模型训练与推理的开源通信库
鹿鸣天涯
02-26 232
在 H800 GPU 上测试时，DeepEP 的内节点通信性能达到 153-158 GB/s 的 NVLink 带宽，而跨节点通信可达 43-47 GB/s 的 RDMA 带宽。它具有高效全员沟通、节点内和节点间均支持 NVLink 和 RDMA、用于训练和推理预填充的高吞吐量内核、用于推理解码的低延迟内核、原生 FP8 调度支持以及灵活的 GPU 资源控制等特点，能够实现计算 - 通信重叠。它就像是一个协调员，能够让各个专家（模型的不同部分）之间更好地配合，提高整个模型的运行效率。
简明科普：DeepSeek Infra开源周全解析
martinzqsun的博客
03-13 797
最终，在H800 SXM5这个卡上，FlashMLA实现了内存带宽3000GB/S（上限是3.2TB，利用率已经接近90%了），计算浮点数580 TFLOPS的表现DeepSeek利用了KV分块+共享内容利用+精细化的Wrap设计把H800的性能压榨得一干二净。DeepEP，说白了就是DeepSeek抛弃了传统的NCCL通信库，自己用更底层的NVSHMEM自己手搓了一套通信方法。这套方法可能不如NCCL那么全面，但在独特的Moe大模型场景下，却是绝对效率最好的。英伟达NVschmen技术文档。
请为下面的代码添加注释： #include <stdio.h> #include <cuda.h> #include <nvshmem.h> #include <nvshmemx.h> __global__ void simple_shift(int *destination) { int mype = nvshmem_my_pe(); int npes = nvshmem_n_pes(); int peer = (mype + 1) % npes; nvshmem_int_p(destination, mype, peer); } int main(void) { int mype_node, msg; cudaStream_t stream; nvshmem_init(); mype_node = nvshmem_team_my_pe(NVSHMEMX_TEAM_NODE); cudaSetDevice(mype_node); cudaStreamCreate(&stream); int *destination = (int *) nvshmem_malloc(sizeof(int)); simple_shift<<<1, 1, 0, stream>>>(destination); nvshmemx_barrier_all_on_stream(stream); cudaMemcpyAsync(&msg, destination, sizeof(int), cudaMemcpyDeviceToHost, stream); cudaStreamSynchronize(stream); printf("%d: received message %d\n", nvshmem_my_pe(), msg); nvshmem_free(destination); nvshmem_finalize(); return 0; }
03-28
好的，用户需要为一个使用CUDA和NVSHMEM实现进程间通信的C程序添加详细注释。首先，我需要回想一下CUDA和NVSHMEM的基本概念。CUDA是NVIDIA的并行计算平台，而NVSHMEM是用于GPU之间通信的库，支持进程间和节点间的...
nvm最新安装包下载，nvm压缩包
12-10
NVM，全称为Node Version Manager，是一个用于管理多个Node.js版本的实用工具。它允许用户在同一台计算机上安装和使用多个版本的Node.js，为开发人员提供了一个便捷的方式来测试他们的应用程序在不同版本的Node.js上...
与代理启动的通信不同， IBGDA 使用 GPUDirect Async – Kernel initiated （ GPUDirectAsync – KI ）使 GPU SM 能够直接与 NIC 交互。这如图 2 所示，涉及以下步骤。应用程序启动 CUDA 内核，在 GPU 内存中生成数据。应用程序调用 NVSHMEM 操作（如nvshmem_put）以与另一个 PE 通信。 NVSHMEM 操作使用 SM 创建 NIC 工作描述符，并将其直接写入 WQ 缓冲区。与 CPU 代理方法不同，此 WQ 缓冲区驻留在 GPU 内存中。SM 更新 DBR 缓冲区，该缓冲区也位于 GPU 存储器中。SM 通过写入 NIC 的 DB 寄存器来通知 NIC 。NIC 使用 GPUDirect RDMA 读取 WQ 缓冲区中的工作描述符。NIC 使用 GPUDirect RDMA 读取 GPU 内存中的数据。NIC 将数据传输到远程节点。NIC 通过使用 GPUDirect RDMA 写入 CQ 缓冲区来通知 GPU 网络操作已完成。如图所示， IBGDA 从通信控制路径中消除了 CPU 。使用 IBGDA 时， GPU 和 NIC 直接交换通信所需的信息。 WQ 和 DBR 缓冲区也移动到 GPU 存储器，以提高 SM 访问时的效率，同时保留 NIC 通过 GPUDirect RDMA 的访问。
03-29
### 工作原理 IBGDA 使用 GPUDirect Async – Kernel initiated (GPUDirectAsync – KI) 技术实现了 GPU 和网络接口控制器（NIC）之间的直接交互。这种技术的核心在于绕过传统的 CPU 数据传输路径，通过内核发起的...
【机器学习】逻辑回归之---对数的作用/数据为什么要取对数
热门推荐
bandaoyu的note
04-14 1万+
基本性质： 平时在一些数据处理中，经常会把原始数据取对数后进一步处理。之所以这样做是基于对数函数在其定义域内是单调增函数，取对数后不会改变数据的相对关系，取对数作用主要有：1. 缩小数据的绝对数值，方便计算。例如，每个数据项的值都很大，许多这样的值进行计算可能对超过常用数据类型的取值范围，这时取对数，就把数值缩小了，例如TF-IDF计算时，由于在大规模...
【CUDA】什么是CUDA？什么是CUDA编程？
bandaoyu的note
03-09 3850
CUDA（Compute Unified Device Architecture，统一计算设备架构），是显卡厂商NVIDIA推出的一种并行计算平台和编程模型。概念中的重点是“统一”二字：“统一”的含义是指该架构将不同类型的计算设备（主要是CPU和GPU）整合到一个统一的编程模型中，开发者可以使用相同的编程语言和工具集，在CPU和GPU上执行计算任务，而无为 CPU 和 GPU 分别编写完全不同的代码(既同时开发 CPU 和 GPU 上的共同程序)，这种统一性简化了并行计算的开发流程传统方式。
【机器学习】参数估计,非参数估计,监督学习,无监督学习
bandaoyu的note
05-04 2885
参数估计 已经知道观测数据符合某些模型的概率下，我们可以利用参数估计的方法来确定这些参数值，然后得出概率密度模型。这个过程中用到了一个条件，就是概率分布符合某些模型这个事实。在这个事实上进行加工。 （https://www.cnblogs.com/wt869054461/p/5935981.html） 个人理解：概率密度函数形式已知，求出形式中的参数。 非参数估计（无参密度估计） 实际中...
【缓存】分布式缓存系统-DCache、redis、Memcached、SSDB
bandaoyu的note
08-18 2311
分布式缓存系统有DCache、redis、Memcached、SSDB等 区别 实际开发中经常使用的分布式缓存系统主要有Redis、MemCache、SSDB，这三者都是KV存储方案，各有优缺，但Redis相比较而言实用性更加广泛。由于Redis特点突出，支持多种数据类型，如String、Hash、Set、List、StoredSet，并且有高可用的解决方案和集群方案，支持水平扩容。也就解决了大部分企业的需求，而MemCache、SSDB相对来说，解决方案并不算那么完善。 Redis与MemCache
【GPU】什么是NCCL和Simple, LL, LL128通信协议
bandaoyu的note
03-09 2284
NCCL (NVIDIA Collective Communications Library) 是 NVIDIA 推出的一个用于 GPU 之间高性能通信的库。深度学习模型规模巨大，单个 GPU 无法满足训练需求，需要将模型或数据分割到多个 GPU 上进行并行训练，NCCL 就是为了解决这个场景而生的。NCCL确实提供了Simple、LL和LL128这三种通信协议，以满足不同应用场景下的性能需求。减少同步带来的延迟将数据排列组合成4B Data+4B Flag的形式进行传输，对端会对Flag值进行校验。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值