【分布式】入门级NCCL多机并行实践 - 02

其中用于实现多节点分布式的组件有以下三个：

• Distributed Data-Parallel Training (DDP)
• RPC-Based Distributed Training (RPC)
• Collective Communication (c10d)

从上图可知，1.6版本左右的PyTorch调用结构如下，最后在ProcessGroup.hpp可以找到对NCCL、Gloo和MPI的调用。

而这些蓝色的部分就是基本的分布式通讯库，他们负责实现通讯和一部分计算功能。

2. 通讯方式

已知显卡与主板通过PCIE相连，任何数据都要从PCIE和CPU穿过，这么做的效率肯定是很低的。

因此在GPUDirect技术出现以后，我们可以把GPU通信分为GPU控制的GPU通信和CPU控制的GPU通信两种。感兴趣相关的细节可以通过此文查看：【研究综述】浅谈GPU通信和PCIe P2P DMA

我们知道通信技术有很多，例如DMA，P2P。DMA和P2P都是一种能力，而非具体的协议。

2.1 DMA & P2P

DMA(Direct Memory Access，直接内存访问)，允许在计算机主板上的设备直接把数据发送到内存中去，数据搬运不需要CPU的参与。

传统内存访问需要通过CPU进行数据copy来移动数据，通过CPU将内存中的Buffer1移动到Buffer2中。DMA模式：可以同DMA Engine之间通过硬件将数据从Buffer1移动到Buffer2,而不需要操作系统CPU的参与，大大降低了CPU Copy的开销。

通常，我们也将主机称为节点。

第二代GPUDirect技术被称作GPUDirect P2P（Peer to Peer），重点解决的是节点内GPU通信问题。两个GPU可以通过PCIe P2P直接进行数据搬移，避免了主机内存和CPU的参与。

那么一台机器中的数据搬运是DMA，多台主机的DMA如何实现呢？这就出现了RDMA这一协议。

2.2 RDMA

RDMA（ Remote Direct Memory Access ）意为远程直接地址访问，通过RDMA，本端节点可以“直接”访问远端节点的内存。所谓直接，指的是可以像访问本地内存一样，绕过传统以太网复杂的TCP/IP网络协议栈读写远端内存，而这个过程对端是不感知的，而且这个读写过程的大部分工作是由硬件而不是软件完成的。

利用机器本身的DMA能力，以及网卡等其他硬件实现的远程DMA。这就和RPC远程过程调用有类似之处。

RDMA是一种host-offload, host-bypass技术，允许应用程序(包括存储)在它们的内存空间之间直接做数据传输。具有RDMA引擎的以太网卡(RNIC)–而不是host–负责管理源和目标之间的可靠连接。

为了支持RDMA实现，有以下三种网络协议：

InfiniBand(IB)	从一开始就支持RDMA的新一代网络协议。由于这是一种新的网络技术，因此需要支持该技术的网卡和交换机。
RDMA过融合以太网(RoCE)	即RDMA over Ethernet, 允许通过以太网执行RDMA的网络协议。这允许在标准以太网基础架构(交换机)上使用RDMA，只不过网卡必须是支持RoCE的特殊的NIC。
互联网广域RDMA协议(iWARP)	即RDMA over TCP, 允许通过TCP执行RDMA的网络协议。这允许在标准以太网基础架构(交换机)上使用RDMA，只不过网卡要求是支持iWARP(如果使用CPU offload的话)的NIC。否则，所有iWARP栈都可以在软件中实现，但是失去了大部分的RDMA性能优势。

IB是最简单的方式，其次是RoCE，当然本文不做赘述，有大篇讲的好的博客，甚至直接看论文和文档也是可以的。NCCL已经支持这些协议。

2.3 MPI

MPI有多种实现方式，例如OpenMPI，MPICH。

MPI 全名叫 Message Passing Interface，即信息传递接口，作用是可以通过 MPI 可以在不同进程间传递消息，从而可以并行地处理任务，即进行并行计算。NCCL中利用MPI来处理多机通讯的部分。

直接下载：

#apt安装mpi
sudo apt-get update
sudo apt install openmpi-bin openmpi-doc libopenmpi-dev
#验证是否安装成功
mpirun --version

自己编译可参考前文：分布式学习 - MPICH编译与实践_mpich 编译指定 mpich cc_canmoumou的博客-CSDN博客

3. NCCL

NCCL在单机多卡环境下的编译与运行参考我的前文：【分布式】NCCL部署与测试 - 01_canmoumou的博客-CSDN博客

NCCL本身具备了基本的通信协议支持、环路算法、原语操作等等。

由于数据运输和计算都是在GPU上完成，需要launch kernel，因此阅读源码前要具备基本的CUDA知识。

3.1 NCCL 多机多卡实践

环境配置

1. 两台多卡服务器，需要配置好无密钥登陆（ssh），以及NFS共享目录。NFS挂载方式如果我有空另外再写。

2. 检查IB设备及性能，确定有一块或多块IB网卡，安装nv_peer_mem驱动

3. 打开CPU高性能模式，并配置网络

查看IB网络是否正常

ibstat CA``'mlx5_0' CA``type``: MT4123 Number of ports: 1 Firmware version: 20.31.1014 Hardware version: 0 Node GUID: 0xb83fd203005682a2 System image GUID: 0xb83fd203005682a2 Port 1: State: Active Physical state: LinkUp Rate: 200 Base lid: 12 LMC: 0 SM lid: 5 Capability mask: 0x2651e848 Port GUID: 0xb83fd203005682a2 Link layer: InfiniBand

Vue

• 什么是MVVM？

• mvvm和mvc区别？它和其它框架（jquery）的区别是什么？哪些场景适合？

• 组件之间的传值？

• Vue 双向绑定原理

• 描述下 vue 从初始化页面–修改数据–刷新页面 UI 的过程？

• 虚拟 DOM 实现原理

• Vue 中 key 值的作用？

• Vue 的生命周期

• Vue 组件间通信有哪些方式?

• vue 中怎么重置 data?

• 组件中写 name 选项有什么作用？

• Vue 的 nextTick 的原理是什么？

• Vuex 有哪几种属性?

  开源分享：【大厂前端面试题解析+核心总结学习笔记+真实项目实战+最新讲解视频】