nvidia-nccl 学习

1.ncclResult_t ncclGetUniqueId(ncclUniqueId* uniqueId)
创建一个被初始化函数（ncclCommInitRank）使用的Id。该函数只能被调用一次（在整个分布式计算中只能被一个地方调用），调用后产生的Id需要分发给分布式任务中其他所有的任务，然后在进行ncclCommInitRank初始化操作（该初始化操作需要使用全局统一Id）。

• communicator 初始化
  创建通信组中每个应用的communicator。每个应用在通信过程中需要绑定自己的communicator。

2.ncclResult_t ncclCommInitRank(ncclComm_t* comm, int nranks, ncclUniqueId commId, int rank)
多进程/多线程中创建一个新的communicator。参数重的rank必须是0到nranks-1之间，并且是唯一的。每个rank应该对应一个已经设置的device。该函数会对每个rank做隐式同步。该函数必须被不同的进程、线程调用；或者在同一个线程中使用ncclGroupStart/ncclGroupEnd进行限制

3.ncclResult_t ncclCommInitAll(ncclComm_t* comm, int ndev, const int* devlist)
但进程中统一创建communicators，需要预先分配comm地址，并且传入device个数和device列表（该函数在单机通信中使用较方便，多机通信中不使用该函数）。