NCCL测试

于 2024-07-22 11:11:29 发布
阅读量207 收藏 2
点赞数 6
文章标签： asp.net 服务器 javascript
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sinat_37574187/article/details/140604699
版权 
./build/all_reduce_perf -b 8 -e 256M -f 2 -g 2
# nThread 1 nGpus 2 minBytes 8 maxBytes 268435456 step: 2(factor) warmup iters: 5 iters: 20 agg iters: 1 validation: 1 graph: 0
#
# Using devices
#  Rank  0 Group  0 Pid  60407 on     gpu003 device  0 [0x26] NVIDIA A800-SXM4-80GB
#  Rank  1 Group  0 Pid  60407 on     gpu003 device  1 [0x2c] NVIDIA A800-SXM4-80GB
gpu003:60407:60407 [0] NCCL INFO Bootstrap : Using ibs13:10.110.10.7<0>
gpu003:60407:60407 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation
gpu003:60407:60407 [1] NCCL INFO cudaDriverVersion 12000
NCCL version 2.15.1+cuda11.8
gpu003:60407:60420 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/IB [1]mlx5_1:1/IB [2]mlx5_4:1/IB [3]mlx5_5:1/IB [RO]; OOB ibs13:10.110.10.7<0>
gpu003:60407:60420 [0] NCCL INFO Using network IB
gpu003:60407:60421 [1] NCCL INFO Using network IB
gpu003:60407:60420 [0] NCCL INFO Setting affinity for GPU 0 to ffffffff,ffffffff,00000000,00000000,ffffffff,ffffffff
gpu003:60407:60421 [1] NCCL INFO Setting affinity for GPU 1 to ffffffff,ffffffff,00000000,00000000,ffffffff,ffffffff
gpu003:60407:60420 [0] NCCL INFO Channel 00/16 :    0   1
gpu003:60407:60420 [0] NCCL INFO Channel 01/16 :    0   1
gpu003:60407:60420 [0] NCCL INFO Channel 02/16 :    0   1
gpu003:60407:60420 [0] NCCL INFO Channel 03/16 :    0   1
gpu003:60407:60420 [0] NCCL INFO Channel 04/16 :    0   1
gpu003:60407:60420 [0] NCCL INFO Channel 05/16 :    0   1
gpu003:60407:60420 [0] NCCL INFO Channel 06/16 :    0   1
gpu003:60407:60420 [0] NCCL INFO Channel 07/16 :    0   1
gpu003:60407:60420 [0] NCCL INFO Channel 08/16 :    0   1
gpu003:60407:60420 [0] NCCL INFO Channel 09/16 :    0   1
gpu003:60407:60420 [0] NCCL INFO Channel 10/16 :    0   1
gpu003:60407:60420 [0] NCCL INFO Channel 11/16 :    0   1
gpu003:60407:60420 [0] NCCL INFO Channel 12/16 :    0   1
gpu003:60407:60420 [0] NCCL INFO Channel 13/16 :    0   1
gpu003:60407:60421 [1] NCCL INFO Trees [0] -1/-1/-1->1->0 [1] -1/-1/-1->1->0 [2] -1/-1/-1->1->0 [3] -1/-1/-1->1->0 [4] -1/-1/-1->1->0 [5] -1/-1/-1->1->0 [6] -1/-1/-1->1->0 [7] -1/-1/-1->1->0 [8] -1/-1/-1->1->0 [9] -1/-1/-1->1->0 [10] -1/-1/-1->1->0 [11] -1/-1/-1->1->0 [12] -1/-1/-1->1->0 [13] -1/-1/-1->1->0 [14] -1/-1/-1->1->0 [15] -1/-1/-1->1->0
gpu003:60407:60420 [0] NCCL INFO Channel 14/16 :    0   1
gpu003:60407:60420 [0] NCCL INFO Channel 15/16 :    0   1
gpu003:60407:60420 [0] NCCL INFO Trees [0] 1/-1/-1->0->-1 [1] 1/-1/-1->0->-1 [2] 1/-1/-1->0->-1 [3] 1/-1/-1->0->-1 [4] 1/-1/-1->0->-1 [5] 1/-1/-1->0->-1 [6] 1/-1/-1->0->-1 [7] 1/-1/-1->0->-1 [8] 1/-1/-1->0->-1 [9] 1/-1/-1->0->-1 [10] 1/-1/-1->0->-1 [11] 1/-1/-1->0->-1 [12] 1/-1/-1->0->-1 [13] 1/-1/-1->0->-1 [14] 1/-1/-1->0->-1 [15] 1/-1/-1->0->-1
gpu003:60407:60420 [0] NCCL INFO Channel 00/0 : 0[26000] -> 1[2c000] via P2P/direct pointer/read
gpu003:60407:60421 [1] NCCL INFO Channel 00/0 : 1[2c000] -> 0[26000] via P2P/direct pointer/read
gpu003:60407:60421 [1] NCCL INFO Channel 01/0 : 1[2c000] -> 0[26000] via P2P/direct pointer/read
gpu003:60407:60420 [0] NCCL INFO Channel 01/0 : 0[26000] -> 1[2c000] via P2P/direct pointer/read
gpu003:60407:60421 [1] NCCL INFO Channel 02/0 : 1[2c000] -> 0[26000] via P2P/direct pointer/read
gpu003:60407:60420 [0] NCCL INFO Channel 02/0 : 0[26000] -> 1[2c000] via P2P/direct pointer/read
gpu003:60407:60421 [1] NCCL INFO Channel 03/0 : 1[2c000] -> 0[26000] via P2P/direct pointer/read
gpu003:60407:60420 [0] NCCL INFO Channel 03/0 : 0[26000] -> 1[2c000] via P2P/direct pointer/read
gpu003:60407:60421 [1] NCCL INFO Channel 04/0 : 1[2c000] -> 0[26000] via P2P/direct pointer/read
gpu003:60407:60420 [0] NCCL INFO Channel 04/0 : 0[26000] -> 1[2c000] via P2P/direct pointer/read
gpu003:60407:60421 [1] NCCL INFO Channel 05/0 : 1[2c000] -> 0[26000] via P2P/direct pointer/read
gpu003:60407:60420 [0] NCCL INFO Channel 05/0 : 0[26000] -> 1[2c000] via P2P/direct pointer/read
gpu003:60407:60421 [1] NCCL INFO Channel 06/0 : 1[2c000] -> 0[26000] via P2P/direct pointer/read
gpu003:60407:60420 [0] NCCL INFO Channel 06/0 : 0[26000] -> 1[2c000] via P2P/direct pointer/read
gpu003:60407:60421 [1] NCCL INFO Channel 07/0 : 1[2c000] -> 0[26000] via P2P/direct pointer/read
gpu003:60407:60420 [0] NCCL INFO Channel 07/0 : 0[26000] -> 1[2c000] via P2P/direct pointer/read
gpu003:60407:60421 [1] NCCL INFO Channel 08/0 : 1[2c000] -> 0[26000] via P2P/direct pointer/read
gpu003:60407:60420 [0] NCCL INFO Channel 08/0 : 0[26000] -> 1[2c000] via P2P/direct pointer/read
gpu003:60407:60421 [1] NCCL INFO Channel 09/0 : 1[2c000] -> 0[26000] via P2P/direct pointer/read
gpu003:60407:60420 [0] NCCL INFO Channel 09/0 : 0[26000] -> 1[2c000] via P2P/direct pointer/read
gpu003:60407:60421 [1] NCCL INFO Channel 10/0 : 1[2c000] -> 0[26000] via P2P/direct pointer/read
gpu003:60407:60420 [0] NCCL INFO Channel 10/0 : 0[26000] -> 1[2c000] via P2P/direct pointer/read
gpu003:60407:60421 [1] NCCL INFO Channel 11/0 : 1[2c000] -> 0[26000] via P2P/direct pointer/read
gpu003:60407:60420 [0] NCCL INFO Channel 11/0 : 0[26000] -> 1[2c000] via P2P/direct pointer/read
gpu003:60407:60421 [1] NCCL INFO Channel 12/0 : 1[2c000] -> 0[26000] via P2P/direct pointer/read
gpu003:60407:60420 [0] NCCL INFO Channel 12/0 : 0[26000] -> 1[2c000] via P2P/direct pointer/read
gpu003:60407:60421 [1] NCCL INFO Channel 13/0 : 1[2c000] -> 0[26000] via P2P/direct pointer/read
gpu003:60407:60420 [0] NCCL INFO Channel 13/0 : 0[26000] -> 1[2c000] via P2P/direct pointer/read
gpu003:60407:60421 [1] NCCL INFO Channel 14/0 : 1[2c000] -> 0[26000] via P2P/direct pointer/read
gpu003:60407:60420 [0] NCCL INFO Channel 14/0 : 0[26000] -> 1[2c000] via P2P/direct pointer/read
gpu003:60407:60421 [1] NCCL INFO Channel 15/0 : 1[2c000] -> 0[26000] via P2P/direct pointer/read
gpu003:60407:60420 [0] NCCL INFO Channel 15/0 : 0[26000] -> 1[2c000] via P2P/direct pointer/read
gpu003:60407:60420 [0] NCCL INFO Connected all rings
gpu003:60407:60421 [1] NCCL INFO Connected all rings
gpu003:60407:60420 [0] NCCL INFO Connected all trees
gpu003:60407:60421 [1] NCCL INFO Connected all trees
gpu003:60407:60421 [1] NCCL INFO threadThresholds 8/8/64 | 16/8/64 | 512 | 512
gpu003:60407:60421 [1] NCCL INFO 16 coll channels, 16 p2p channels, 16 p2p channels per peer
gpu003:60407:60420 [0] NCCL INFO threadThresholds 8/8/64 | 16/8/64 | 512 | 512
gpu003:60407:60420 [0] NCCL INFO 16 coll channels, 16 p2p channels, 16 p2p channels per peer
gpu003:60407:60421 [1] NCCL INFO comm 0x55e4b15b8870 rank 1 nranks 2 cudaDev 1 busId 2c000 - Init COMPLETE
gpu003:60407:60420 [0] NCCL INFO comm 0x55e4b15b5de0 rank 0 nranks 2 cudaDev 0 busId 26000 - Init COMPLETE
#
#                                                              out-of-place                       in-place
#       size         count      type   redop    root     time   algbw   busbw #wrong     time   algbw   busbw #wrong
#        (B)    (elements)                               (us)  (GB/s)  (GB/s)            (us)  (GB/s)  (GB/s)
           8             2     float     sum      -1    11.72    0.00    0.00      0    12.04    0.00    0.00      0
          16             4     float     sum      -1    11.75    0.00    0.00      0    11.97    0.00    0.00      0
          32             8     float     sum      -1    11.99    0.00    0.00      0    12.00    0.00    0.00      0
          64            16     float     sum      -1    12.05    0.01    0.01      0    11.62    0.01    0.01      0
         128            32     float     sum      -1    11.69    0.01    0.01      0    11.82    0.01    0.01      0
         256            64     float     sum      -1    11.90    0.02    0.02      0    11.87    0.02    0.02      0
         512           128     float     sum      -1    13.60    0.04    0.04      0    12.54    0.04    0.04      0
        1024           256     float     sum      -1    12.86    0.08    0.08      0    12.65    0.08    0.08      0
        2048           512     float     sum      -1    12.77    0.16    0.16      0    12.48    0.16    0.16      0
        4096          1024     float     sum      -1    12.76    0.32    0.32      0    12.10    0.34    0.34      0
        8192          2048     float     sum      -1    13.60    0.60    0.60      0    13.14    0.62    0.62      0
       16384          4096     float     sum      -1    15.09    1.09    1.09      0    15.05    1.09    1.09      0
       32768          8192     float     sum      -1    15.31    2.14    2.14      0    14.81    2.21    2.21      0
       65536         16384     float     sum      -1    15.60    4.20    4.20      0    15.85    4.13    4.13      0
      131072         32768     float     sum      -1    16.32    8.03    8.03      0    15.72    8.34    8.34      0
      262144         65536     float     sum      -1    18.66   14.05   14.05      0    18.29   14.34   14.34      0
      524288        131072     float     sum      -1    23.79   22.03   22.03      0    22.67   23.13   23.13      0
     1048576        262144     float     sum      -1    43.77   23.95   23.95      0    37.99   27.60   27.60      0
     2097152        524288     float     sum      -1    49.24   42.59   42.59      0    49.09   42.72   42.72      0
     4194304       1048576     float     sum      -1    66.89   62.70   62.70      0    65.71   63.83   63.83      0
     8388608       2097152     float     sum      -1    94.55   88.72   88.72      0    94.20   89.05   89.05      0
    16777216       4194304     float     sum      -1    161.0  104.18  104.18      0    158.6  105.80  105.80      0
    33554432       8388608     float     sum      -1    288.9  116.15  116.15      0    287.7  116.61  116.61      0
    67108864      16777216     float     sum      -1    533.9  125.70  125.70      0    533.5  125.80  125.80      0
   134217728      33554432     float     sum      -1   1034.7  129.72  129.72      0   1034.1  129.80  129.80      0
   268435456      67108864     float     sum      -1   2010.3  133.53  133.53      0   2011.1  133.47  133.47      0
gpu003:60407:60407 [1] NCCL INFO comm 0x55e4b15b5de0 rank 0 nranks 2 cudaDev 0 busId 26000 - Destroy COMPLETE
gpu003:60407:60407 [1] NCCL INFO comm 0x55e4b15b8870 rank 1 nranks 2 cudaDev 1 busId 2c000 - Destroy COMPLETE
# Out of bounds values : 0 OK
# Avg bus bandwidth    : 34.0238
#

你执行的命令和输出信息意味着以下内容：

命令解释

bash

复制

./build/all_reduce_perf -b 8 -e 256M -f 2 -g 2
  • ./build/all_reduce_perf：运行 NCCL 的 All Reduce 性能测试程序。
  • -b 8：设置最小数据大小为 8 字节。
  • -e 256M：设置最大数据大小为 256MB。
  • -f 2：设置步长因子为 2（数据大小增长的倍数）。
  • -g 2：使用 2 个 GPU 进行测试。

输出解释

  • nThread 1 nGpus 2：表示使用 1 个线程和 2 个 GPU。
  • Rank 0 和 Rank 1：表示两个 GPU 的进程信息。
  • NVIDIA A800-SXM4-80GB：显示 GPU 型号。
  • NCCL version 2.15.1+cuda11.8：显示 NCCL 和 CUDA 的版本信息。
  • Using network IB：表示使用 InfiniBand 网络。
  • Connected all rings / trees：表示 NCCL 成功建立了所有通信环。
  • 性能数据：列出不同数据大小下的测试结果，包括：
    • size: 数据大小（字节）。
    • time: 执行时间（微秒）。
    • algbw: 算法带宽（GB/s）。
    • busbw: 总线带宽（GB/s）。

性能结果

  • 结果展示了不同数据大小（从 8 字节到 268,435,456 字节）下的性能表现。
  • Avg bus bandwidth: 平均总线带宽为 34.0238 GB/s，表明在测试过程中数据传输的效率。

总结

整个输出显示了 NCCL 在指定条件下的性能测试结果，表明测试成功且性能表现良好。如果你有进一步的问题或需要详细分析某个部分，请告诉我！

AI生成曾小健
关注
  • 6
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
nvidia nccl安装和测试的实战教程
weixin_43178406的博客
06-20 4万+
本文主要介绍了nvidia nccl安装和测试的实战教程，希望能对安装和使用NCCL的同学们有所帮助。 文章目录 1. 问题描述 2. 实战教程 2.1 安装NCCL 2.2 验证NCCL
nccl-tests:NCCL测试
05-04
NCCL测试 这些测试同时检查操作的性能和正确性。 建造 要构建测试，只需键入make 。 如果未在/ usr / local / cuda中安装CUDA，则可以指定CUDA_HOME。 同样，如果未在/ usr中安装NCCL，则可以指定NCCL_HOME。 $ ...
NCCL安装测试
Samsaraz的博客
06-28 512
直接去下载安装包（要先注册NVIDIA账号，下载安装固定的nccl与cuda版本组合），历史版本点，也可以在github上获取所有版本，点击。根据对应cuda版本下载自己所需要的安装包。
【分布式】NCCL部署与测试 - 01
参谋谋的博客
10-07 5309
NCCL简述，NCCL编译测试，代码结构讲解
虚拟化环境多机NCCL测试
weixin_75261812的博客
04-25 224
使用命令mpirun -np 16 -H 6.6.6.200:8,6.6.6.10:8 -v --allow-run-as-root -x NCCL_SOCKET_IFNAME=ens11 -x NCCL_IB_GID_INDEX=3 -x NCCL_IB_HCA=mlx5_1 -x NCCL_ALGO=Ring -x NCCL_DEBUG=INFO -x CUDA_VISIBLE_DEVICES=0,1,2,3,4,5,6,7 -mca btl ^openib /root/nccl-tests-maste
nccl-test多机多卡测试
最新发布
bmseven的博客
07-03 849
NCCL（NVIDIA Collective Communications Library）是由 NVIDIA 开发的一种高性能的多 GPU 通信库，用于在多个 NVIDIA GPU 之间实现快速的数据传输和协同计算。它可以在深度学习和高性能计算领域中提供分布式训练和数据并行加速的支持。
nccl测试工具安装
weixin_75261812的博客
04-26 240
2、安装openmpi。
NCCL
weixin_30414635的博客
07-03 878
参考链接： https://docs.nvidia.com/deeplearning/sdk/nccl-developer-guide/docs/index.html 转载于:https://www.cnblogs.com/yangwenhuan/p/11127574.html
英伟达GPU NCCL原理介绍
存储随笔
06-13 545
2. **点对点通信**：除了集体通信，NCCL还支持点对点的通信原语，比如发送（Send）、接收（Recv）以及更复杂的all-to-all、scatter、gather操作，这些对于灵活的数据分配和同步也很有用。1. **安装NCCL**：根据你的CUDA版本和操作系统，从NVIDIA官网下载相应的NCCL库并安装。3. **优化的通信算法**：NCCL利用高效的通信算法和优化的实现，包括在单一CUDA内核上执行通信和计算操作的能力，减少了同步开销和资源需求，以达到更高的带宽利用率和更低的延迟。
1. 多机多卡运行nccl-tests和channel获取
Pretend的博客
02-12 3773
nccl中channel的概念表示一个通信路径，为了更好的利用带宽和网卡，以及同一块数据可以通过多个channel并发通信，nccl会使用多channel，搜索的过程就是搜索出来一组channel。这里-b表示minBytes，-e表示maxBytes，-g表示两张卡，-f表示数据量每次乘2，如开始是8B，往后依次是16，32，64字节…运行以下命令,这里对应双机4卡，注意np后面的进程数*单个节点gpu数（-g 指定）=总的gpu数量，即之前提到的等式。- Connolly的回答 - 知乎。
mpi-nccl-tests:使用GPU Direct RDMA进行MPI + NCCL测试
05-17
标题中的“mpi-nccl-tests”指的是一个针对MPI（Message Passing Interface）和NCCL（NVIDIA Collective Communications Library）的测试框架，它利用了GPU Direct RDMA（Remote Direct Memory Access）技术来提高...
nccl-master.rar
04-09
这通常包含项目的所有源代码、构建脚本、测试用例等，用于开发者编译、调试或自定义 NCCL 库。如果要使用这个库，通常需要先解压缩，然后根据提供的构建指示来编译和安装。 **知识点总结：** 1. **NCCL概述**：...
nccl-rccl-parser：基于应用程序运行rccl-testsnccl-tests的工具
02-17
首先，请克隆以下存储库：git clone --recursive 要运行测试，我们使用以下存储库： 在ROCm上： : 在CUDA上： : 先决条件： 已安装RCCL / NCCL。 已安装rccl-tests或nccl-tests。如何使用该工具：运行应用程序并...
ubuntu1604+nccl1.2.3+cuda8.0源码
01-04
7. **测试NCCL**：使用提供的示例程序或自己的代码验证NCCL的安装和配置是否正确。 **总结** NCCL 1.2.3与CUDA 8.0结合，为Ubuntu 16.04上的多GPU环境提供了高效的通信解决方案。通过源码安装，开发者可以根据自己...
解决Pytorch 训练与测试时爆显存(out of memory)的问题
09-18
在使用PyTorch进行深度学习模型的训练和测试过程中，可能会遇到“显存溢出”（Out of Memory，OOM）的问题。这个问题通常是由于GPU内存不足以存储所有计算所需的张量而导致的。以下是一些解决PyTorch训练与测试时...
使用NCCL进行多GPU训练(MULTI-GPU TRAINING WITH NCCL)
06-06
使用NCCL进行多GPU深度学习训练，其中涉及多机多卡，单机多卡等技术。 Optimized inter-GPU communication for DL and HPC Optimized for all NVIDIA platforms, most OEMs and Cloud Scales to 100s of GPUs, ...
nccl:针对集体多GPU通信的优化原语
04-29
注意：可以从以下下载NCCL的官方版本和经过测试的版本： : 。 如果选择使用正式版本，则可以跳过以下构建步骤。 要构建库： $ cd nccl $ make -j src.build 如果未在默认的/ usr / local / cuda路径中安装CUDA，...
nccl-repo-ubuntu1604-2.1.15-ga-cuda9.1_1-1_amd64.deb
07-24
cuda9.1 nccl2.1.15 英伟达多GPU交互工具，测试可用。
nccl安装后如何测试
08-09
安装基于 NVIDIA Collective Communications Library (NCCL) 之后，可以通过下面的步骤来测试它的运行情况： 1. 确保已经安装了适当的GPU驱动和CUDA开发工具包。 2. 创建一个测试程序，使用NCCL库函数进行通信操作。这个程序可以是C或C++编写的。 3. 在程序中导入NCCL的头文件，并调用NCCL的初始化函数。初始化将为本地GPU设备创建NCCL通信句柄。 4. 在程序中定义需要进行通信的数据缓冲区，例如在每个GPU上分配一个矩阵。 5. 使用NCCL支持的发送和接收函数，在多个GPU之间进行数据通信。可以测试不同通信模式，比如点对点、集体等。 6. 完成通信操作后，调用NCCL的结束函数来销毁NCCL通信句柄，并释放占用的资源。 7. 编译并运行测试程序。 运行测试程序后，可以观察到NCCL是否正常工作。可以通过检查运行时输出来确保通信操作正确执行。此外，还可以使用NVIDIA的命令行工具 "nccltest" 进行更全面的测试。该工具提供了多种测试模式，可以检查NCCL的性能和功能。 综上所述，安装NCCL后，通过编写测试程序并运行来验证NCCL的安装和功能是否正确。测试程序包括调用NCCL库函数进行通信操作，并查看运行时输出以及使用 "nccltest" 工具进行更全面的测试。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

AI生成曾小健

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值