【RDMA】学习笔记（二）

一.DMA

RDMA（Remote Direct Memory Access）在概念上是相对DMA（Direct Memory Access，直接内存访问）而言的。我们先来了解一下DMA.

DMA（Direct Memory Access）是一种允许外设（如硬盘、网络卡）直接访问系统内存的技术，而不需要 CPU 介入。这种方式可以提高数据传输的效率，减少 CPU 负担，降低延迟。DMA 控制器负责在内存和外设之间传输数据，允许设备和内存之间的高速数据交换，而 CPU 可以继续执行其他任务。

1.工作原理

1.初始化：首先，CPU会设置DMA传输，包括源地址、目的地址、传输的数据量以及任何必要的控制信息。 

2.传输控制: DMA控制器接管数据传输过程。它直接从源地址读取数据，并将数据写入目的地址，过程中不经过CPU。

3.中断: 一旦数据传输完成，DMA控制器会向CPU发送一个中断信号，通知CPU数据已经准备好或者已经传输完成。这样，CPU就可以处理其他任务或者继续处理传输的数据。

总的来说，在这种方式中， DMA 控制器从CPU 完全接管总线的控制，数据交换不经过CPU，而直接在内存和IO设备之间进行。DMA工作时，由DMA 控制器(DMAC)向内存发出地址和控制信号，进行地址修改，对传送字的个数计数，并且以中断方式向CPU 报告传送操作的结束。

CPU只在初始化和结束时参与。理解：CPU找了一个助理，开始时布置任务，托管了从外设收集数据的工作，助理工作完成后就向老板（CPU）汇报

2.分类

Burst Mode DMA: 在这种模式下，DMA控制器一次传输整个数据块，直到整个传输完成或达到预设的数据量。
Cycle Stealing Mode: DMA控制器在需要时“偷取”一个或几个周期来执行数据传输，介于CPU周期之间，从而减少对CPU性能的影响。
Transparent DMA: 在这种模式下，DMA传输在CPU闲置时进行，充分利用系统资源，而不干扰CPU的正常工作。

二.RDMA

1.基本原理

上回说到（见【RDMA】学习笔记（一）），传统的网络通信数据发送的流向是应用程序->操作系统内核->网卡->网络->目的设备，而在RDMA中，数据流向是：应用程序->RDMA硬件->网络->远程设备，如下图：

这张图也可以看一下：

DMA技术中，外部设备能够绕过CPU直接访问host memory。两个或多个计算机也这样在通信的时候使用DMA，（DMA硬件将数据）从一个主机的内存直接读写到另一个主机的内存，就是远程的DMA技术，即RDMA（R=remote）

2.优势

零拷贝(Zero-copy)： 应用程序能够直接执行数据传输，在不涉及到网络软件栈的情况下。数据能够被直接发送到缓冲区或者能够直接从缓冲区里接收，而不需要被复制到网络层。
内核旁路(Kernel bypass) - 应用程序可以直接在用户态执行数据传输，不需要在内核态与用户态之间做上下文切换。
不需要CPU干预(No CPU involvement) - 应用程序可以访问远程主机内存而不消耗远程主机中的任何CPU。远程主机内存能够被读取而不需要远程主机上的进程（或CPU)参与。远程主机的CPU的缓存(cache)不会被访问的内存内容所填充。
消息基于事务(Message based transactions) - 数据被处理为离散消息而不是流，消除了应用程序将流切割为不同消息/事务的需求。
支持分散/聚合条目(Scatter/gather entries support) - RDMA原生态支持分散/聚合。也就是说，读取多个内存缓冲区然后作为一个流发出去或者接收一个流然后写入到多个内存缓冲区里去。

3.RDMA三种不同的技术实现

RDMA支持多种协议，主要包括InfiniBand (IB)、RDMA over Converged Ethernet (RoCE)以及Internet Wide Area RDMA Protocol (iWARP)，它们都可以使用同一套API来使用，但它们有着不同的物理层和链路层

协议明天再细细学吧，困...这三个协议详情下一篇一定会特别认真的写！