NVMe系统内存结构 - 命令聚合与仲裁

本文属于《 NVMe协议基础系列教程》之一，欢迎查看其它文章。

1 命令聚合

Fused Operations（聚合操作），是指通过“融合”两个更简单的命令，来实现更复杂的命令。

这个功能是可选的，Identify Controller Data Structure表明了对该特性的支持。

在聚合操作中，有以下要求：

• 这两个命令，应作为一个原子单元按顺序执行；控制器应表现为，在这两个命令之间，没有执行过其他操作。
• 在这两个命令中遇到错误时，操作结束。如果序列中的第一个命令失败，那么第二个命令将被中止。如果序列中的第二个命令失败，那么第一个命令的完成状态是序列特定的。
• LBA range，如果使用，应该是相同的两个命令。如果LBA range不匹配，命令应该在Command中以“Invalid Field”的状态终止。
• 这些命令应该，在同一个Submission Queue中相邻地插入（被聚合的命令，必须相邻）。如果第一个命令，是Submission Queue中的最后一个条目，那么第二个命令应该是Submission Queue中的第一个条目（循环一圈）。Submission Queue Tail doorbell pointer更新，应将两个命令作为一个doorbell更新的一部分。
• 如果主机希望，中止所融合的操作，则主机应针对每一个命令，分别提交中止（Abort）命令。
• 控制器为每个命令，发布一个completion queue条目。

命令是否是，聚合操作的一部分，可通过该命令的Dword0的Fused Operation字段（09:08）来指示。
Fused Operation字段，还可以指示，这是操作中的第一个命令，还是第二个命令。

2 命令仲裁

当写Submission Queue Tail Doorbell之后，将Submission Queue Tail Pointer移过相应的Submission Queue entry时，就提交了一个命令。控制器使用特定于供应商的算法，将提交的命令，传输到控制器的本地内存，以供后续处理。

当控制器和命名空间状态，被命令访问或修改时，命令正在被处理（例如，正在访问或修改一个功能设置，或者正在访问或修改一个逻辑块）。当命令的完成消息，被提交到相应的Completion Queue时，表示命令执行完毕。完成后，该命令所做的，所有控制器状态和命名空间状态修改，对随后提交的所有命令，都是全局可见的。

候选命令（candidate command），是控制器认为准备好进行处理的，已提交的命令。控制器从每个Submission Queue的提交命令池中，选择要处理的命令。组成聚合操作的命令，应由控制器按顺序一起处理。控制器可以，以任何顺序选择用于处理的，候选命令。选择处理命令的顺序，并不意味着完成命令的顺序。

仲裁，是用于确定Submission Queue的方法，控制器将从该队列开始处理下一个候选命令。可将一个聚合操作，视为控制器的一个或两个命令。

一旦使用仲裁选择了一个Submission Queue，Arbitration Burst设置决定了，在仲裁再次发生之前，控制器可以从该Submission Queue开始处理的最大命令数。

所有控制器必须支持，轮转命令仲裁机制。控制器可以选择实现，具有紧急优先级的加权轮询和特定于供应商的仲裁机制。

控制器的Capabilities寄存器(CC.AMS)中的Arbitration Mechanism Supported字段，表示控制器支持的可选仲裁机制。

为了有效利用非易失性内存，并行执行来自Submission Queue的多个命令通常是有利的。对于使用紧急优先级加权轮转或轮转仲裁的Submission Queue，主机软件可以配置一个Arbitration Burst设置。

Arbitration Burst设置，表示控制器一次可以从特定的Submission Queue中，启动的命令最大数量。

建议主机软件将Arbitration Burst设置，配置为尽可能接近控制器的推荐值(在Identify Controller Data Structure中的Recommended Arbitration Burst字段中指定)，同时考虑任何延迟需求。

何谓仲裁，仲裁就是，控制器以什么策略去选择Submission Queue，并选择该Queue中一定数量命令，以便执行。

2.1 轮转仲裁（RR）

如果选择了轮转仲裁（Round Robin Arbitration）机制，控制器将在所有Submission Queue(包括Admin Submission Queue)之间进行轮转命令仲裁。在这种情况下，所有Submission Queue具有相同的优先级。控制器可以基于Arbitration Burst设置，每轮从每个Submission Queue中，选择多个候选命令进行处理。

云里雾里，不明所以？没关系，接下来白话。

轮转仲裁机制，是控制器必须实现的。
所谓轮转仲裁，就是轮询，Admin SQ与I/O SQ优先级相同。比如：

• 控制器，第0次，选择SQ0中的N个命令执行；
• 控制器，第1次，选择SQ1中的N个命令执行；
• 控制器，第2次，选择SQ2中的N个命令执行；
• 控制器，第n次（最后一个），选择SQn中的N个命令执行；
• 控制器，第n+1次，选择SQ0中的N个命令执行；
• 依此类推。

2.2 具有紧急优先级的加权轮询仲裁（WRR）

在具有紧急优先级的加权轮询仲裁（Weighted Round Robin with Urgent Priority Class Arbitration）机制中，有3个严格的优先级类和3个加权的轮询优先级。如果Submission Queue A的严格优先级高于Submission Queue B，则Submission Queue A中的所有候选命令，都应在Submission Queue B中的候选命令开始处理之前处理。

• 严格优先级，最高的类是，Admin类，其中包含了提交给Admin Submission Queue的任何命令。Admin类，比提交到任何其他Submission Queue的命令，具有最高的严格优先级。

• 严格优先级，次之的类是，Urgent类。任何分配给紧急优先级的I/O Submission Queue，在命令提交到Admin Submission Queue之后，以及在任何命令提交到加权轮播优先级之前，都是服务的。主机软件，在为任何Submission Queue分配紧急优先级时，都应该小心，因为在紧急和非紧急I/O Submission Queue之间没有公平协议，因此有可能使加权循环优先级的I/O Submission Queue失效。

• 严格优先级，最低的类是，Weighed Round Robin（WRR）类。该类由三个加权轮转优先级(High、Medium、Low)组成，它们使用加权轮转仲裁共享剩余带宽。主机软件通过“Set Features”，来控制高、中、低服务类别的权重。Round robin用于在分配给相同权重的Round robin级别的多个提交队列中进行仲裁。

轮询（RR）用于，对多个分配了相同加权轮询级别的Submission Queues，进行仲裁。
每轮可以从每个Submission Queue开始处理的候选命令数量，是Arbitration Burst设置，或剩余的加权轮询积分，以较小者为准。

再次，云里雾里，不明所以？没关系，接下来白话。

WRR仲裁机制，是控制器可选实现的，非必须。
在WRR仲裁机制中，定义了3个严格优先级（Strict Priority1~3），和3个加权优先级（High，Medium，Low）。

• Admin类，优先级最高（Strict Priority 1）：

只有Admin SQ具有这一最高优先级。
也就是说，Admin Command必须最先被执行。

• Urgent类，优先级次之（Strict Priority 2）：

一人之下，万人之上，优先级仅次于Admin类。
被赋予Urgent类优先级的I/O SQ，在Admin SQ中命令执行后，紧接着执行。
若存在多个Urgent类I/O SQ时，这些I/O SQ执行轮询仲裁机制。

• WRR类，优先级最低（Strict Priority 3）：

优先级最低，必须等Admin类和Urgent类执行完了，才会执行WRR类。
在本严格优先级下，又划分了三个加权优先级，从高到低为：High > Medium > Low。
每个加权优先级内部，多个I/O SQ执行轮询仲裁机制。
用户可以用“Set Feature”命令，控制加权优先级中每个优先级的权重，也即每次执行Command的数目。

2.3 特定于供应商的仲裁

供应商可以选择实现，特定于供应商的仲裁机制，该机制不在NVMe协议规定范围内。
因此，该仲裁机制，也是控制器可选实现的，非必须。