NCCL 源码详解总目录

已于 2024-02-06 17:49:50 修改
阅读量3.3k 收藏 27
点赞数 23
分类专栏： NCCL 文章标签： linux c语言 NCCL nvidia
于 2024-02-05 17:52:03 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u014443578/article/details/136045600
版权

前言

本文主要对 NCCL 源码相关资料以及自己将要发布的文章做一个汇总，关注点赞收藏不迷路。

KIDGINBROOK 讲解的版本与我要看的版本不一致，我的版本是 NCCL 2.19.1。部分内容重合，部分内容有差异，我最多的是对其的补充与部分疑难点的详解。

建议可以先阅读 KIDGINBROOK 相关博客，对 NCCL 有一个整体了解。

比较忙，更新时间久，我尽快。

学习源码

NCCL 自定义源码

  1. 我基于 NCCL_2.19 版本修改了一下源码，可以脱离GPU硬件，自定义拓扑结构，跟踪多种链接情况的软件流程；
  2. 默认硬件连接如下，如果要定义，按照格式修改 xml 文件即可，后续看情况，可能出一个交互式设计；
  3. 提供一个 xml 转 pdf 的 python 脚本 topo/xml_to_PNG.py；

拓扑图展现的不是很好，原本设计是 GPU0 GPU1 GPU2 GPU3 是相互通过 NVLINK 链接的，有点乱，先用着吧。
请添加图片描述

正文

NCCL源码解析: proxy 线程
NCCL源码解析: P2P 连接的建立
NCCL源码解析: 共享内存连接的建立

未完待续

转载：

来自 @ KIDGINBROOK

NVIDIA NCCL 源码学习（一）- 初始化及ncclUniqueId的产生

NVIDIA NCCL 源码学习（二）- bootstrap网络连接的建立

NVIDIA NCC​L 源码学习（三）- 机器内拓扑分析

NVIDIA NCCL 源码学习（四）- 建图过程

NVIDIA NCCL 源码学习（五）- 路径计算

NVIDIA NCCL 源码学习（六）- channel搜索

NVIDIA NCCL 源码学习（七）- 机器间channel连接

NVIDIA NCCL 源码学习（八）- 数据通信链路transport的建立

NVIDIA NCCL 源码学习（九）- 单机内ncclSend和ncclRecv的过程

NVIDIA NCCL 源码学习（十）- 多机间ncclSend和ncclRecv的过程

NCCL源码分析1：官网案例详解 单进程单设备使用/调用案例
weixin_41443115的博客
07-15 87
NCCL使用/调用步骤源码解读（单设备单进程为例）：步骤总结：通过MPI获取本机rank(可理解为进程)数量localrank，用于rank绑定GPU；rank0获取NCCL通信组ID，并通过MPI_Bcast广播给其它rank；借助MPI获取的这些信息NCCL完成初始化，并进行集合通信。核心步骤：1、初试化和启动MPI通...
理解NCCL源码必看：详细论述NCCL源码做了哪些事
这个地瓜真是甜啊
03-21 4642
详解NCCL 源码的实现的功能以及如何实现的
NCCL test源码分析
最新发布
weixin_48329334的博客
09-14 1009
Nccl test有几个测试文件，每一个测试文件会单独生成一个测试程序，并以"_perf"为后缀生成可执行的文件。每个测试源码文件会和两个公共文件common.cu和timer.cc，以及nccl、cuda、mpi这三个lib一起编译生成可执行的文件。
ubuntu1604+nccl1.2.3+cuda8.0源码
01-04
NVIDIA多GPU加速工具nccl的源码，适用于Ubuntu16.04+cuda8.0环境，安装方式参照readme文件
NVIDIA NCCL 源码学习（十二）- double binary tree
KIDGIN7439的专栏
12-22 5502
上节我们以ring allreduce为例看到了集合通信的过程，但是随着训练任务中使用的gpu个数的扩展，ring allreduce的延迟会线性增长，为了解决这个问题，NCCL引入了tree算法，即double binary tree。
源码学习：NVIDIA/nccl (持续更新)
weixin_36012235的博客
06-20 1081
源码地址： https://github.com/NVIDIA/nccl
NCCL源码详解4：bootstrapInit()引导网络bootstrap网络连接建立 视频教程
爱串门的小马驹博客
06-04 1722
Nvidia NCCL bootstrapInit()利用已知的根节(rank0)网络地址(从而获得ncclUniqueId中包含的rank0的网络地址)，建立一个环形网络，allgather获取所有rank的信息。
nccl 源码分析 从 ncclAllReduce 的执行开始认识nccl源代码
eloudy的专栏
01-04 1607
这个info是在ncclAllReduce()中定义的 struct ncclInfo info，其中info->comm 是ncclAllReduce 传递进来的第五个参数 ncclComm* comm。所以，启动相关的阿cuda kernel等，应该是在后面的 ncclGroupEnd() 中，通过解析 comm->tasks的数据元素来启动的。那么需要看一下 ncclIntruQueueEnqueue 到底对t中的 t->op做了什么解析，t->op是这个函数的第二个参数的op成员；
caffe函数入口caffe.cpp详解
xxmhnu的博客
05-13 1563
概览这篇博客解析caffe函数入口caffe.cpp，主要内容为caffe启动框架，基本不涉及深度学习的具体内容，内容十分基础，适合新手阅读。下面所有的代码解析都以训练lenet手写数字体识别为例，其运行参数为：caffe train --solver=examples/mnist/lenet_solver.prototxt $@main函数先把main函数贴上来int main(int argc...
PyTroch笔记 - 多GPU分布式训练
Mystra
08-22 1045
模型并行：模型较大，拆分为不同模块，放在不同的GPU上运行，在第1个GPU的输出结果，输入到第2个GPU运行，串行。不要把张量当入日志中输出，使用“.item()”转换为python的数据类型。数据并行：数据放在不同的GPU上跑，模型放在同一个GPU上，并行。代码：使用os.envisorn，例如。argparse，从命令行中接收参数，加载完模型数据，可以进行模型的拷贝，(v1.0版本，已经很少使用 )优点：多进程执行多卡训练，效率高。PyTorch分布式训练。(推荐)，简称DDP。判断CUDA是否可用。
YOLOv5源码逐行超详细注释与解读（3）——训练部分train.py
热门推荐
路人贾的博客
03-11 2万+
全网最详细的YOLOv5项目源码解读之训练部分train. py。全文近5万字！代码逐行注释，逐段讲解，小白入门必备！
SSD、SAD、NCC源代码
10-23
立体匹配的源代码，附有实例，适合初学者。
nccl-tests:NCCL测试
05-04
NCCL测试 这些测试同时检查操作的性能和正确性。 建造 要构建测试，只需键入make 。 如果未在/ usr / local / cuda中安装CUDA，则可以指定CUDA_HOME。 同样，如果未在/ usr中安装NCCL，则可以指定NCCL_HOME。 $ make CUDA_HOME=/path/to/cuda NCCL_HOME=/path/to/nccl NCCL测试依赖MPI来处理多个进程，因此可以处理多个节点。 如果要编译具有MPI支持的测试，则需要设置MPI = 1并将MPI_HOME设置为MPI的安装路径。 $ make MPI=1 MPI_HOME=/path/to/mpi CUDA_HOME=/path/to/cuda NCCL_HOME=/path/to/nccl 用法 NCCL测试可以在多个进程，多个线程以及每个线程多个CUDA设备上运行。 进程数由MP
NCCL-用于集体多GPU通信的优化原语-C/C++开发
05-26
NCCL-集体多GPU通讯的优化原语NCCL集体多GPU通讯的优化原语。 简介NCCL（发音为“镍”）是用于GPU的标准集体通信例程的独立库，可实现全缩减，全收集，缩减，广播和缩减分散。 它已经过优化，可以在使用PCIe，NVLink，NVswitch的平台以及使用InfiniBand Verbs或TCP / IP套接字的网络上实现高带宽。 NCCL支持在单个节点上或跨节点安装的任意数量的GPU
yolov5 tain.py部分代码详解
chxuy的博客
07-10 3069
yolov5 tain.py部分源码详解 `` if __name__ == '__main__': parser = argparse.ArgumentParser() #模型的训练权重 parser.add_argument('--weights', type=str, default='yolov5s.pt', help='initial weights path') #模型的配置文件 parser.add_argument('--cfg', type=str,
NCCL源码详解2：通信初始化如何获取唯一ID UniqueId，ncclGetUniqueId()中ncclInit()、bootstrapGetUniqueId()包含视频教程
爱串门的小马驹博客
05-18 1760
NCCL 视频教程 源码解读 获取唯一ID UniqueId，ncclGetUniqueId()和其调用的ncclInit()和bootstrapGetUniqueId() NCCL源码解析解读分析，
NCCL源码详解3：通信器初始化ncclCommInitRank() 含视频教程
爱串门的小马驹博客
05-24 1872
NCCL源码解析解读分析，ncclCommInitRank()根据rank号和CUDA设备uniqueID等，完成NCCL通信器初始化。ncclCommInitRankDev()使用 ncclAsyncLaunch 异步启动 ncclCommInitRankFunc 函数来初始化通信。 异步启动通信器初始化ncclCommInitRankFunc()
NCCL源码解析: 共享内存连接的建立
这个地瓜真是甜啊
02-06 1860
NCCL 源码中两个设备通过共享内存通信初始化
NCCL源码详解1：NCCL官网使用/调用案例 Example : One Device per Process or Thread包含视频教程
爱串门的小马驹博客
05-11 1997
NCCL源码解析解读分析，rank0获取NCCL通信组ID，并通过MPI_Bcast广播给其它rank；借助MPI获取的这些信息NCCL完成初始化，并进行集合通信。
NVIDIA NCCL 源码学习
07-28
NVIDIA NCCL（NVIDIA Collective Communications Library）是一种用于高性能并行计算的库，特别适用于多GPU系统中的并行通信操作。如果你想学习NCCL的源码，我可以给你一些建议： 1. 先了解基本概念：在开始研究NCCL源码之前，确保你对并行计算和通信操作有基本的了解。理解NCCL的设计目标和背后的原理会有助于你更好地理解源码。 2. 寻找源码：NCCL的源码可以在NVIDIA的开源GitHub存储库中找到。你可以在https://github.com/NVIDIA/nccl 上找到最新的代码。 3. 阅读文档：NVIDIA提供了NCCL的官方文档，其中包含了详细的API文档和使用指南。在阅读源码之前，先浏览一遍文档，了解库的功能和使用方式，这将有助于你更好地理解源码中的细节。 4. 逐步阅读源码：开始时，可以选择从简单的功能开始阅读，逐步深入到更复杂的部分。从整体架构入手，了解主要的数据结构和函数调用关系。然后，选择一个具体的功能或算法，深入研究相关的源代码。 5. 调试和实践：通过在实际应用中使用NCCL库，你可以更好地理解源码。尝试使用NCCL库进行一些简单的通信操作，并通过调试器进行源码跟踪，观察库的行为和内部工作原理。 6. 参考资料和社区支持：除了官方文档和源码，你还可以参考一些相关的学术论文、博客文章和社区讨论，这些资源可以帮助你更好地理解NCCL的设计和实现。 希望这些建议对你学习NCCL源码有所帮助！如果你有其他问题，请随时提问。
评论 7
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Call Me Gavyn

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值