- 博客(3)
- 收藏
- 关注
RSS订阅原创 NCCL：chunk，slice，step的关系
对于broadcast来说，在核函数处理之前，NCCL已经把数据统一转换为char类型了，就不需要考虑数量和空间大小的关系了。对于Allreduce来说，核函数收到的数据就是原始的数据，如果数据类型是char，那么数量和空间大小是对应的。如果数据类型是int32，那么空间大小==数量*4B对于chunkSize，loopSize和nelem这几个代码中的变量，可以理解为是描述了数据类型为T的数据的数量，要是计算占用空间的话，需要根据数据类型T做相应的转换。
2025-03-01 16:40:15
1058
原创 理解NCCL的Tree
结合了github中issue的解答，自己在环境上通过log一步一步把Tree里的关系画出来，发现自己好像明白了一些东西，整理了一下对Tree的理解
2024-03-25 15:23:31
3626
29
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人