GEM5教程-Garnet 2.0

一、Garnet2.0：一种用于异构SoCs的片上网络模型

1、 garent2.0是gem5内部一个详细的互连网络模型。它正在积极开发中，具有更多功能的补丁将定期推送到gem5中。 其他与Garnet相关的补丁和正在开发的工具支持（不是回购协议的一部分）可以在Garnet page at Georgia Tech找到。

Gernet2.0建立在发表于GARNET: A detailed on-chip network model inside a full-system simulator
之上

如果您对Garnet的使用有助于发表论文，请引用以下论文：

@inproceedings{garnet,
  title={GARNET: A detailed on-chip network model inside a full-system simulator},
  author={Agarwal, Niket and Krishna, Tushar and Peh, Li-Shiuan and Jha, Niraj K},
  booktitle={Performance Analysis of Systems and Software, 2009. ISPASS 2009. IEEE International Symposium on},
  pages={33--42},
  year={2009},
  organization={IEEE}
}

2、Garent2.0提供了一个片上网络路由器的周期精确微架构实现。它利用了gem5的ruby内存系统模型提供的拓扑结构和路由基础设施。默认路由器是最先进的单周期管道。通过在拓扑中指定，支持在任何路由器中添加任何数量的周期的额外延迟。

3、Garent2.0还可以通过在路由器和链路中设置适当的延迟来模拟片外互连网络。

4、相关的文件：

src/mem/ruby/network/Network.py
src/mem/ruby/network/garnet2.0/GarnetNetwork.py
src/mem/ruby/network/Topology.cc

二、调用

可以通过添加–network=garent2.0来启用Gernet网络。

三、配置

Garnet2.0使用 Network.py中的通用网络参数：

1、
（1）number_of_virtual_networks：这是虚拟网络的最大数目。活动虚拟网络的实际数量由协议决定。
（2）control_msg_size：控制消息的大小（字节）。默认值为8。Network.cc中的m_data_msg_size设置为以字节为单位的块大小+control_msg_size。

2、其他参数在garnet2.0/GarnetNetwork.py中指定：

（1）ni_flit_size：flit大小（字节）。flit是信息从一个路由器发送到另一个路由器的粒度。默认值为16（=>128位）。[此默认值16导致控制消息适合1个flit，数据消息适合5个flit]。Garnet要求ni_flit_size与带宽因子（在network/BasicLink.py中）相同，因为它不模拟网络中的可变带宽。这也可以从命令行使用–link-width-bits设置。

（2）vcs_per_vnet ：每个虚拟网络的虚拟信道（VC）的数目。默认值为4。这也可以从命令行使用–vcs-per-vnet设置。

（3）buffers_per_data_vc：数据消息类中每个VC的flit缓冲区数。由于数据消息占用5个flit，因此该值可以介于1-5之间。默认值为4。

（4）buffers_per_ctrl_vc：控制消息类中每个VC的flit缓冲区数。由于控制消息占用1个flit，并且VC一次只能保存一个消息，因此该值必须为1。默认值为1。

（5）routing_algorithm：0:基于权重的表格（默认值），1:XY，2:自定义。更多细节如下。

四、拓扑结构

garent2.0利用了gem5的ruby内存系统模型提供的拓扑结构。任何异构拓扑都可以建模。拓扑文件中的每个路由器都可以被赋予独立的延迟，这将覆盖默认值。此外，每个链路有两个可选参数：src_outport和dst_inport，它们是每个链路的源和目标路由器的输出和输入端口的名称字符串。这些可以在garent2.0中使用，以实现自定义路由算法，如下所述。例如，在网格中，西向东链接的src_outport设置为“west”，dst_inport设置为“east”。

网络组件

（1）GarnetNetwork：这是实例化所有网络接口、路由器和链接的顶级对象。Topology.cc调用在NIs和路由器之间添加“外部链接”和在路由器之间添加“内部链接”的方法。

（2）NetworkInterface：每个NI通过一侧的MsgBuffer接口连接到一个相干控制器。它有一个到另一个路由器的链接。每个协议消息被放入一个单flit控件或多个（默认值为5）flit数据（取决于它的vnet），并注入到路由器中。多个NIs可以连接到同一个路由器（例如，在Mesh拓扑中，缓存和dir控制器通过单个NIs连接到同一个路由器）。

（3）Router：路由器管理输出链路的仲裁和路由器之间的流控制。

（4）NetworkLink：网络链接携带flits。它们可以是三种类型之一：EXT_OUT_（路由器到NI）、EXT_IN_（NI到路由器）和INT_（内部路由器到路由器）

（5）CreditLink：信用链路在路由器之间携带VC/缓冲信用，用于流量控制。

五、路由

（1）garent2.0利用了gem5的ruby内存系统模型提供的路由基础设施。默认的路由算法是基于表的最短路径确定路由算法。链接权重可用于将某些链接优先于其他链接。有关如何填充路由表的详细信息，请参阅src/mem/ruby/network/Topology.cc。

（2）自定义路由：
为了对自定义路由算法进行建模，比如说自适应路由算法，我们提供了一个框架，用src_outport和dst_inport 方向命名每个链路，并使用这些内部garnet实现路由算法。例如，在Mesh中，West-first可以通过沿“west”出口链路发送flit来实现，直到flit不再有任何剩余的X跳，然后随机（或基于下一个路由器VC可用性）选择剩余的链路之一。请参阅如何在src/mem/ruby/network/garent2.0/RoutingUnit.cc中实现outportComputeXY（）。类似地，outportComputeCustom（）可以实现，并通过在命令行中添加–routing-algorithm=2来调用。

（3）多播消息：

所建模的网络在网络中没有硬件多播支持。多播消息在网络接口处被分解为多个单播消息。

六、流量控制

设计中采用了虚拟通道流量控制。每个VC可以容纳一个数据包。VCs的设计分为控制和数据两种。每个缓冲区的深度可以独立于GarnetNetwork.py进行控制。默认值为1-flit deep control VCs和4-flit deep data VCs。控制包的默认大小为1-flit，数据包的默认大小为5-flit。

七、路由器微体系结构

garnet2.0路由器执行以下操作：

1、缓冲区写入（BW）

传入的flit在其VC中得到缓冲。

2、路线计算（RC）

缓冲flit计算其输出端口，该信息存储在其VC中。

3、交换机分配（SA）

所有缓冲的flit都试图为下一个周期保留交换机端口。[分配以可分离的方式进行：首先，每个输入使用输入仲裁器选择一个输入VC，该仲裁器放置一个开关请求。然后，每个输出端口通过输出仲裁器中断冲突]。有序虚拟网络中的所有仲裁器都在排队以保持点到点的顺序。所有其他仲裁人都是循环赛。

4、VC选择（VS）

SA的获胜者从其输出端口选择一个免费的VC（如果HEAD/HEAD_TAIL flit）。

5、链路遍历（LT）

从横杆上飞过连接到达下一个路由器。

在默认设计中，BW、RC、SA、VS都在一个周期内发生。LT发生在下一个周期。

多周期路由器

通过在拓扑文件中指定每个路由器的延迟，或者在src/mem/ruby/network/BasicRouter.py中更改默认路由器延迟，可以对多周期路由器进行建模。这是通过使缓冲flit在路由器中等待（延迟-1）个周期，然后才符合SA的要求来实现的。

八、缓冲区管理

每个路由器输入端口都有number_of_virtual_networks Vnets，每个都有vcs_per_vnet VCs。控制Vnets中的VCs具有buffers_per_ctrl_vc的深度（默认值=1），数据Vnets中的VCs具有buffers_per_data_vc的深度（默认值=4）。信用证用于中继有关免费VCs的信息，以及每个VC中的缓冲区数量。

九、网络遍历的生命周期

1、NetworkInterface.cc::wakeup()

（1）每个NI一端连接一个相干协议控制器，另一端连接一个路由器

（2）从适当的vnet中的一致性协议缓冲区接收消息，并将其转换为网络包并将其发送到网络中。 （garent2.0增加了在此时捕获网络跟踪的能力[开发中] ）

（3）接收来自网络的flit，提取协议消息并将其发送到相应vnet中的一致性协议缓冲区

（4）使用附加的路由器管理流控制（即信用卡）

（5）NI的消费flit/credit输出链接被放入全局事件队列，时间戳设置为next cycle。eventqueue调用消费者中的唤醒函数

2、NetworkLink.cc::wakeup()

（1）接收来自NI/路由器的flits，并在 m_latency延迟后将其发送到NI/路由器

（2）可以从命令行设置每个链接的默认延迟值（请参阅 configs/network/Network.py）

（3）每链路延迟可以在拓扑文件中覆盖

（4）链路的使用者（NI/路由器）被放入全局事件队列中，在m_latency周期之后设置时间戳。eventqueue调用消费者中的唤醒函数。

3、Router.cc::wakeup()

（1）遍历所有输入单元并调用它们的wakeup（）

（2）遍历所有输出单元并调用它们的wakeup（）

（3）调用SwitchAllocator的wakeup（）

（4）呼叫CrossbarSwitch的wakeup（）

（5）只要路由器的任何模块（InputUnit、OutputUnit、SwitchAllocator、CrossbarSwitch）有一个就绪的flit/credit来执行这个周期，就会调用路由器的唤醒功能。

4、InputUnit.cc::wakeup()

（1）从上游路由器读取输入flit（如果已准备好进行此循环）

（2）对于HEAD/HEAD_TAIL flits，执行路线计算，并在VC中更新路线。

（3）将flit缓冲（m_latency-1）个周期，并将其标记为有效，以便开始该周期的SwitchAllocation。

可以从命令行设置每个路由器的默认延迟（请参阅configs/network/Network.py）

每个路由器延迟（即num pipeline stages）可以在拓扑文件中设置。

5、OutputUnit.cc::wakeup()

（1）从下游路由器读取输入信用（如果已准备好进行此循环）

（2）在适当的输出VC状态下增加信用。

（3）如果信用携带的是“自由”信号，则将输出VC标记为“自由”

6、SwitchAllocator.cc::wakeup()

（1）注意：SwitchAllocator在其中执行VC仲裁和选择。

（2）SA-I（或SA-i）：循环遍历每个输入端口上的所有输入VCs，并以循环方式选择一个。

对于HEAD/HEAD_TAIL flits，只选择其输出端口至少有一个空闲输出VC的输入VC。

对于BODY/TAIL flits，只选择在其输出VC中包含credits的输入VC。

（3）从这个VC请求输出端口。

（4）SA-II（或SA-o）：循环遍历所有输出端口，并以循环方式选择一个输入VC（在SA-I期间发出请求）作为此输出端口的赢家。

对于HEAD/HEAD_TAIL filts，执行outvc分配（即，从输出端口选择一个空闲的VC）。

对于BODY/TAIL flits，减少输出vc中的信用。

（5）从输入VC读取flit，并将其发送到CrossbarSwitch

（6）为这个输入VC向上游路由器发送一个增量信用信号。

对于HEAD_TAIL/TAIL flits，标记是“自由”的信号在信用证中是正确的。

输入单元通过信用链路将信用发送到上游路由器。

（7）重新安排路由器在下一个周期唤醒任何准备好SA下一个周期的 filt 。

7、CrossbarSwitch.cc::wakeup()

（1）循环通过所有输入端口，并将获胜的flit从其输出端口发送到输出链路。

（2）路由器的消耗flit输出链路被放入全局事件队列，时间戳设置为next cycle。eventqueue调用消费者中的唤醒函数。

8、NetworkLink.cc::wakeup()

（1）接收来自NI/路由器的flits，并在m_latency周期延迟后将其发送到NI/路由器

（2）可以从命令行设置每个链接的默认延迟值（请参阅configs/network/Network.py）

（3）每链路延迟可以在拓扑文件中覆盖

（4）链路的使用者（NI/路由器）被放入全局事件队列中，在m_latency周期之后设置时间戳。eventqueue调用消费者中的唤醒函数。