TH_NUM的博客

日常积累

nccl安装

nccl安装 wget https://developer.download.nvidia.com/compute/machine-learning/repos/ubuntu1604/x86_64/nvidia-machine-learning-repo-ubuntu1604_1.0.0-1_am...

2018-09-21 17:10:02

阅读数:31

评论数:0

nvidia-nccl 学习笔记

NCCL 资料 NCCL官方说明: https://devblogs.nvidia.com/fast-multi-gpu-collectives-nccl/ https://developer.nvidia.com/nccl http://docs.nvidia.com/deeplear...

2018-08-07 12:49:17

阅读数:83

评论数:0

nccl 函数 ncclReduce和ncclAllReduce

下面代码中实现了ncclReduce和ncclAllReduce的例子,以ncclReduce举例(其中把隐藏的ncclAllReduce去掉就可以实现ncclAllREduce): //测试NCCL的reduce #include<stdio.h> ...

2018-07-20 16:10:28

阅读数:163

评论数:0

nvidia-nccl 学习

1.ncclResult_t ncclGetUniqueId(ncclUniqueId* uniqueId) 创建一个被初始化函数(ncclCommInitRank)使用的Id。该函数只能被调用一次(在整个分布式计算中只能被一个地方调用),调用后产生的Id需要分发给分布式任务中其他所有的任务,然...

2018-07-18 15:12:47

阅读数:63

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭