m0_51900768的博客

上图是一个采用NUMA架构的PCIe计算机硬件系统结构。为了方便理解，CPU的结构是基于Intel的Sky Lake架构抽象得到，主要表达CPU内部各个硬件电路的关系，并非硬件实际电路结构。GPU为PCIe版GPU，并且两个NUMA节点下的GPU使用的是NvLink桥接器进行直接连接。此外，假设操作系统为Linux 64位操作系统在这样一个计算机系统中，总共有三个地址空间：虚拟地址空间，物理地址空间，PCIe总线地址空间

使用MSCCL需要输入自定义的集合通信算法，自定义的算法需要以MSCCL规定的表示存在XML文件里，也就是MSCCL_XML_FILES环境变量指定的XML文件。 也就是说，如果想自己设置集合通信算法，并在GPUs上运行，总共分为以下几步： ① 克隆MSCCL到本地，然后按照GitHub上给的指南进行编译 ② 按照MSCCL规定的格式撰写XML文件 ③ 设置MSCCL_XML_FILES环境变量为XML文件所在的路径，并且设置NCCL_

本文为学习笔记，故只对知识点依据自己的理解作概要总结，方便以后复习激活记忆。内容主要包括：GPU硬件结构和GPU通信方式注：本文中GPU的讲解以A100型号为例，V100跟A100的架构差别不大也可适用，但是其他架构可能会有所出入。