【GPU】什么是 NVLink？

已于 2025-03-09 16:27:08 修改
阅读量1.1k 收藏 30
点赞数 23
分类专栏： 人工智能|大数据 文章标签： gpu cuda vnlink
于 2025-03-09 16:25:58 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/bandaoyu/article/details/146133455
版权

目录

前言

 NVLink说明

简介

技术特点

应用领域

一 环境准备

二 NVLink使用

实际应用

注意事项

常用状态查询

前言

建议阅读官网说明或官方博客文章:

NVLink & NVSwitch: https://www.nvidia.com/en-us/data-center/nvlink/

什么是 NVLink? | NVIDIA 英伟达博客 https://blogs.nvidia.cn/blog/what-is-nvidia-nvlink/

 NVLink说明

简介

NVLink就是英伟达（NVIDIA）开发并推出的一种总线及其通信协议，主要用于GPU之间或GPU与CPU、网络接口卡（NIC）等其他外设的连接，提供更高效的传输性能（高带宽，低延迟）。

技术特点

  1. 点对点结构与串列传输：NVLink采用点对点结构，即直接在两个设备之间建立链路，这种设计极大地提高了数据传输的效率。同时，它使用串列传输方式，进一步提升了数据传输的速度。
  2. 高带宽与低延迟：相较于传统的PCIe接口，NVLink提供了更高的带宽和更低的数据传输延迟。这使得NVLink在需要大规模数据交互的高性能计算场景中表现出色。
  3. 数据缓存一致性：从NVLink 2.0版本开始，引入了数据缓存一致性功能。这意味着CPU和GPU之间可以在硬件层面实现数据一致性，大大提升了CPU和GPU之间的数据交互效率。
  4. 支持多种设备连接：NVLink不仅支持GPU之间的连接，还支持GPU与CPU、网络接口卡（NIC）等其他外设的连接，提供了灵活的设备连接方案。

应用领域

NVLink主要应用于需要大规模并行计算的高性能场景中，如深度学习、AI推理、科学模拟和金融分析等。特别是在深度学习领域，NVLink允许多个GPU之间实现高速数据传输，从而大幅加速了模型训练的速度。

技术优势

NVLink4.0 VS PCIe5.0 带宽是5倍，能效是5倍

四代 NVLink 连接主机和加速处理器的速度高达每秒 900GB/s，是传统 x86 服务器的互连通道PCIe 5.0 带宽的 7 倍多。每传输 1 字节数据仅消耗 1.3 皮焦，因此 NVLink 的能效是 PCIe 5.0 的 5 倍。

 通常通过印在计算机板上的多对导线实现，可以让处理器以闪电般的速度收发共享内存池中的数据。

一 环境准备

1. 确认硬件支持

  • GPU 支持：确保 GPU 支持 NVLink，如 NVIDIA Tesla V100、A100 或 GeForce RTX 3090 等。

  • 主板支持：主板需具备 NVLink 接口，通常为高端工作站或服务器主板。

  • NVLink 桥接器：根据 GPU 数量和布局选择合适的桥接器。

2. 安装硬件

  • 安装 GPU：将 GPU 插入主板 PCIe 插槽。

  • 连接 NVLink 桥接器：将桥接器安装在 GPU 的 NVLink 接口上，确保连接稳固。

3. 安装驱动和软件

  • 安装 NVIDIA 驱动：从 NVIDIA 官网下载并安装最新驱动。

  • 安装 CUDA 工具包：如需使用 CUDA 应用，安装相应版本的 CUDA 工具包。安装与GPU驱动版本兼容的CUDA Toolkit，以便在GPU上进行编程和计算。

4. 配置系统

  • 启用 NVLink：在 BIOS/UEFI 中启用 NVLink 支持（如有选项）。

  • 检查连接状态：使用 nvidia-smi 命令查看 GPU 状态，确认 NVLink 已启用。

二 NVLink使用

5. 使用 NVLink

  • 多 GPU 应用：在支持多 GPU 的应用中启用 NVLink 加速。

  • 深度学习框架：如 TensorFlow 或 PyTorch，可通过设置启用 NVLink 优化。

    • 如果你打算使用NVLink进行深度学习，需要配置深度学习框架（如TensorFlow、PyTorch等）以利用NVLink。
    • 对于TensorFlow，可以使用以下代码片段配置： 
      import tensorflow as tf
tf.config.experimental.set_visible_devices(tf.config.experimental.list_physical_devices('GPU')[0:2], 'GPU')
logical_gpus = tf.config.experimental.list_logical_devices('GPU')
print(len(logical_gpus), "Physical GPUs,", len(logical_gpus), "Logical GPUs")
    • 对于PyTorch，可以使用以下代码片段配置：
    import torch
torch.cuda.set_device(0)
print(torch.cuda.device_count())

6. 监控和优化

  • 监控性能：使用 nvidia-smi 监控 GPU 使用率和 NVLink 带宽。

  • 优化应用：根据应用需求调整配置，最大化 NVLink 性能。

实际应用

  1. 编写深度学习代码：
    • 在配置好深度学习框架后，可以编写深度学习代码并运行。
    • 在代码中，确保使用NVLink进行GPU之间的数据传输和同步。
  2. 运行和评估模型：
    • 运行深度学习代码，并监控训练过程中的日志和性能指标。
    • 使用测试数据集评估模型的性能，并根据需要进行调整和优化。
  3. 优化NVLink性能：
    • 根据实际应用场景和性能需求，调整NVLink的配置和参数以优化性能。
    • 监控NVLink的带宽利用率和延迟情况，并根据需要进行调整。

注意事项

  • 在使用NVLink时，务必确保所有连接都正确无误，以避免数据传输错误或系统崩溃。
  • 在配置深度学习框架时，需要根据实际情况选择适当的GPU设备和NVLink配置。
  • 在运行深度学习代码时，需要确保有足够的内存和计算资源来支持模型的训练和推理。

通过以上步骤，你可以成功使用NVLink进行GPU之间或GPU与其他外设之间的高效数据传输和同步。

常用状态查询

可以使用nvidia-smi命令来查看和管理NVLink的状态和配置：

  • nvidia-smi：查看 GPU 和 NVLink 状态。

  • nvidia-smi nvlink --status：查看 NVLink 连接状态。

  • nvidia-smi topo -m：查看 GPU 拓扑。

  • nvbandwidth：测试 NVLink 带宽。

  • nvidia-smi dmon：实时监控 NVLink 带宽。

以下是一些常用的NVLink命令及其功能：

  1. 查看NVLink信息：

    • nvidia-smi nvlink：显示系统的NVLink信息，包括链接状态、支持的功能等。
    • nvidia-smi nvlink -i <GPU_ID>：指定GPU的ID来查看该GPU的NVLink信息。
    • nvidia-smi nvlink -l <LINK_ID>：指定链接的ID来查看特定链接的信息。
    • nvidia-smi nvlink -s：显示链接的状态（活动/非活动）。
    • nvidia-smi nvlink -c：显示链接支持的功能列表。

  2. 查看NVLink拓扑信息：

    • nvidia-smi topo -m：显示NVLink的拓扑信息，包括GPU之间的连接关系。

  3. 查看NVLink带宽：

    • nvidia-smi nvlink --status：显示NVLink的状态和带宽信息，包括每个通道的带宽是否已启用。

  4. 错误计数器相关命令：

    • nvidia-smi nvlink -e：显示链接的错误计数器。
    • nvidia-smi nvlink -ec：显示链路的每通道CRC错误计数器。
    • nvidia-smi nvlink -re：将所有错误计数器重置为零。

  5. 吞吐量计数器相关命令：

    • nvidia-smi nvlink -gt <COUNTER_TYPE>：显示指定计数器类型的链路吞吐量计数器。<COUNTER_TYPE>参数由表示计数的流量类型的字符串组成，例如d表示以KiB显示tx和rx数据有效负载。

  6. 其他命令：

    • nvidia-smi nvlink -p：显示链接的远程节点PCI总线ID。
    • nvidia-smi nvlink -R：显示链接的远程设备PCI总线ID和NvLink ID。

注意事项：

  • 在使用这些命令之前，请确保已经安装了NVIDIA驱动程序，并且具有管理员权限。
  • 某些命令可能需要特定的硬件和软件版本支持，请查阅NVIDIA的官方文档以获取更多信息。

8 卡 GPU 服务器与 NVLink/NVSwitch 互联技术
烟云的计算
02-06 1657
NVLink 是一种点对点的高速互连技术，单条 NVLink 就是一条全双工双路信道，每条 NVLink 链路可以将 2 个 GPU 直连起来，并且每个 GPU 可以提供多条 NVLink 接口连接多个 GPU。另外，PCIe Switch 互联拓扑中的 GPU 之间可能存在 GPU0→Switch0→CPU0→CPU1→Switch1→GPU7 的通信链路，它的通信不可避免的存在一定的延迟，因而更适合用于对信号效率不敏感且追求性价比的使用场景，如：推理、云计算等领域。本文讨论的是单机 GPU 卡间互联。
显存和GPU之间的通信；GPUDirect P2P，NVLink，NCCL；聚合通信和点对点通信
ZJQ的博客
12-04 590
显存和GPU之间的分配 显存和GPU之间的通信 原语是什么，简单举例说明 GPUDirect P2P，NVLink，NCCL的全称及解释 聚合通信和点对点通信 聚合通信（Collective Communication） 点对点通信（Point-to-Point Communication） 为什么使用GPUDirect P2P，NVLink，NCCL
浅析GPU通信技术（中）-NVLink
weixin_33739627的博客
06-04 5908
目录 浅析GPU通信技术（上）-GPUDirect P2P 浅析GPU通信技术（中）-NVLink 浅析GPU通信技术（下）-GPUDirect RDMA 1. 背景 上一篇文章《浅析GPU通信技术（上）-GPUDirect P2P》中我们提到通过GPUDirect P2P技术可以大大提升GPU服务器单机的GPU通信性能，但是受限于PCI Expre...
NVLink：连接GPU的高速桥梁
最新发布
m0_56896669的博客
12-08 1096
NVLink是NVIDIA开发的一种高带宽、低延迟的芯片到芯片通信链路，最初发布于2016年。NVLink的设计目的是为了提供比传统PCI Express（PCIe）总线更高效的互连解决方案，特别是在需要多个GPU协同工作的环境中。它允许数据直接在GPU之间传输，而不需要通过主机内存或CPU，从而极大地提高了效率和速度。总之，NVLink代表着一种重要的进步，它突破了传统硬件连接方式所带来的局限，为现代计算提供了更为强大和高效的解决方案。
NVLink技术及影响解析
痞子龙3D编程
11-10 1万+
1繁华的背面     最新GPU架构Pascal，能自己开上舞台的Audi A7，超过700名与会专家学者及技术人员，近百场学术会议和科研分享，连续两晚的happy hour、酒会和GTC Party……在一片喧嚣和欢乐当中，2014年度的GTC大会降下了帷幕。对于GPU及并行运算相关领域的技术人员和科研工作者来说，GTC大会带给他们的也许是获得技术信息的
NVlink
weixin_34387284的博客
06-28 761
Nvidia's Pascal to use stacked memory, proprietary NVLink interconnect byScott Wasson— 6:50 PM on March 25, 2014 GTC — Today during his opening keynote at the Nvidia GPU Technology Conference, ...
深入了解 GPU 互联技术——NVLINK
github_36774378的博客
10-09 3128
随着人工智能和图形处理需求的不断增长，多 GPU 并行计算已成为一种趋势。对于多 GPU 系统而言，一个关键的挑战是如何实现 GPU 之间的高速数据传输和协同工作。然而，传统的 PCIe 总线由于带宽限制和延迟问题，已无法满足 GPU 之间通信的需求。为了解决这个问题，NVIDIA 于 2018 年推出了 NVLINK，以提高 GPU 之间的通信效率。
聊透 GPU 通信技术——GPU Direct、NVLink、RDMA
github_36774378的博客
09-05 2025
AI 技术对算力的需求是非常庞大的，虽然 GPU 的计算能力在持续提升，但是对于 AI 来说，单卡的计算能力就算再强，也是有极限的，这就需要多 GPU 组合。而 GPU 多卡的组合，主要分为单个服务器多张 GPU 卡和多个服务器，每个服务器多张卡这两种情况，无论是单机多卡还是多机多卡，GPU 之间需要有超强的通信支持。
快速了解GPU分布通信技术：PCIe、NVLink与NVSwitch
全世界的博客
06-06 5748
PCIe（Peripheral Component Interconnect Express）是一种高速串行计算机扩展总线标准，广泛用于连接计算机的各种硬件设备。PCIe4.0是目前较为先进的版本，提供了高达64GB/s的带宽。InfiniBand是一种用于高性能计算的高速互连技术，通过交换机在节点之间直接创建一个专用的受保护通道。InfiniBand适配器通过PCIe接口连接到CPU，另一端通过InfiniBand网络端口连接到InfiniBand子网。
mysql yuancheng nv_GPU前沿：NVLink与PCIe的对比学习
weixin_39750190的博客
02-01 1364
本文主要是对《Pump Up the Volume: Processing Large Data on GPUs with Fast Interconnects》的阅读，同时记录了自己的一些想法。本文针对GPU的NVLink进行进一步研究，阅读下来感觉非常前沿，能学习很多insight。所以我将本文总结出来，加深自己的理解，也方便读者阅读。本文为SIGMOD’20的文章，感兴趣的同学可以下载来自行...
同样都是高性能计算 (HPC) 领域网络互连技术，NVLink 与 InfiniBand有啥区别？
网络技术联盟站
04-23 1597
当谈及高性能计算和数据中心领域的网络互连技术时，NVLink 和 InfiniBand 无疑是两个备受关注的话题。它们代表了当今领先的高速通信技术，为连接计算节点、存储设备和加速器等提供了关键的解决方案。在本文中，我们将深入探讨 NVLink 和 InfiniBand 的设计原理、性能特点以及在不同领域中的应用情况。
NVIDIA NVLink技术
痞子龙3D编程
11-10 5310
去年年末，美国国家能源局宣布，橡树岭国家实验室和劳伦斯利弗莫尔国家实验室采用新的超算系统，获得如此“大单”的两家IT公司分别是IBM和NVIDIA。 　　从官方公布的信息来看，劳伦斯利弗莫尔国家实验室的新超算系统的计算速度将高达100PetaFLOPS（每秒10亿亿次），而橡树岭国家实验室的全新超算系统的计算速度更为惊人，可达150-300PetaFLOPS。这两套系统的计算速度都远超当前的
nvidia nvlink互联与nvswitch介绍
热门推荐
查理王的博客
05-21 3万+
一.动机 在nvidia推出目前这个方案之前，为了获得更多的强力计算节点，多个GPU通过PCIe Switch直接与CPU相连。 他们之间的pcie 3.0*16有接近32GB/s的双向带宽，但是当训练数据不停增长的时候，这个互联方案本身却成为了致命的系统瓶颈。如果不改进这个互联带宽，那么新时代GPU带来的额外性能就没法发挥出来，从而无法满足现实需求负载的增长。 二.NVLink 为了解决这个问题，nvidia开发了一个全新的互联构架nvlink。单条nvlink是一种双工双路信道，其通过组合32条配
【NPU 系列专栏 2.4 -- 高速互连 NVLink 详细介绍】
CodingCos的博客
07-27 1146
NVLink 是 NVIDIA 开发的一种高速互连技术，旨在提升 GPU 与 GPU 之间以及 GPU 与 CPU 之间的数据传输速率。相比传统的 PCIe 接口，NVLink 提供了显著更高的带宽和更低的延迟，从而显著提升了多 GPU 系统和 GPU 加速计算系统的整体性能。假设我们有一个包含多个 GPU 的深度学习训练系统，利用 NVLink 提升数据传输带宽和计算效率。环境准备确保安装了 PyTorch 和支持 NVLink 的 NVIDIA GPU。多 GPU 训练代码示例。
【AI系统】NVLink 原理剖析
ZOMI酱
11-25 989
随着 AI 技术的飞速发展，大模型的参数量已经从亿级跃升至万亿级，这一变化不仅标志着 AI 的显著提升，也对支持这些庞大模型训练的底层硬件和网络架构提出了前所未有的挑战。为了有效地训练这些复杂的模型，需要依赖于大规模的 GPU 服务器集群，它们通过高速网络相互连接，以便进行快速、高效的数据交换。但是，即便是最先进的 GPU 也可能因为网络瓶颈而无法充分发挥其计算潜力，导致整个算力集群的性能大打折扣。这一现象凸显了在构建大规模 GPU 集群时，仅仅增加 GPU 数量并不能线性增加集群的总体算力。
NVLink和PCIe，怎么快速理解这种硬件的基础知识
Daylighte的博客
06-26 2658
NVLink是由NVIDIA开发的一种高速、低延迟的专有连接技术，主要用于连接NVIDIA图形处理器（GPU）。它提供了高带宽和低延迟的直接GPU间通信能力，适用于需要大量数据传输和低延迟通信的高性能计算和AI应用。综上所述，NVLink作为一种专为NVIDIA GPU设计的高速互连技术，它在带宽和延迟方面都优于PCIe，特别是在需要大量数据传输和低延迟的高性能计算和AI应用中。而PCIe作为一种更通用和广泛支持的标准，适用于更多的硬件设备和应用场景，具有良好的扩展性和兼容性。
AI基础架构-NVLink 技术详解
08-06 1437
AI Infra 基础知识 - NVLink 入门
解密英伟达NVLink：解锁多GPU计算的无限潜力
04-18 3598
解密英伟达NVLink：解锁多GPU计算的无限潜力
怎样通过NVML监控NVLink状态？
10-24
NVML（NVIDIA Management Library）是一个用于管理和监视NVIDIA GPU的库，其中包含了查询NVLink状态的信息。以下是如何通过NVML监控NVLink状态的基本步骤： 1. **安装NVML**： 如果你还没有安装，首先确保已按照前面提到的方式安装了CUDA和NVidia驱动。然后，你可以通过`apt-get`安装NVML： ```shell sudo apt-get install libnvidia-ml10 ``` 2. **导入NVML模块**： 在Python脚本中，先导入`nvidia_smi`库，它是NVML的一个便捷接口： ```python from nvidia import smi ``` 3. **初始化NVML**： ```python smi.nvmlInit() ``` 4. **查询设备信息**： 使用`smi.nvmlDeviceGetHandleByIndex()`获取特定GPU的句柄，然后通过`smi.nvmlDeviceGetPcieThroughput()`函数获取NVLink的带宽信息。例如，获取第一个GPU的总带宽： ```python handle = smi.nvmlDeviceGetHandleByIndex(0) link_speeds = smi.nvmlDeviceGetPcieThroughput(handle) total_bandwidth = link_speeds["total"] ``` 5. **解析结果**： `link_speeds`字典通常会返回各个连接的速度和状态。注意，NVLink状态可能显示为`None`，这表示GPU不支持NVLink或者当前未启用。 6. **关闭NVML**： 执行完毕后记得释放资源： ```python smi.nvmlShutdown() ``` **相关问题--:** 1. 在Linux命令行中怎么通过NVML监控NVLink状态？ 2. 怎样处理NVML返回的None值？ 3. 如何在C++中使用NVML获取NVLink信息？
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值