Incoming MSI Controller (IMSIC)
IMSIC是RISC-V hart的可选组件,与hart紧密耦合,每个hart都对应一个IMSIC,每个IMSIC包含M/S/VS-level的interrupt file,对应hart内的不同特权等级的csr pending寄存器:mip、sip、vsip,IMSIC会接收target为该hart的MSI中断,一旦该MSI中断的pending和enable位置位时,将其发送到该hart的对应特权等级中。
IMSIC中包含一到多个物理地址内存映射的寄存器,除此以外,软件通过CSR寄存器(*iselect、*topei和*ireg)与IMSIC interrupt file进行交互。
Interrupt files and interrupt identities(中断寄存器堆和中断标识)
在 RISC-V 系统中,MSI 不仅可以定向特定的 hart,也可以定向 hart 的 privilege level(像是 machine 或是 supervisor level),另外假设 hart 实现了 hypervisor extension,IMSIC 也可以选择性的允许 MSI在 virtual supervisor(VS) level 指定到特定 virtual hart。
由于 MSI 可能指向 hart 不同的 privilege level 或 virtual hart,因此每个hart 的 IMSIC 拥有独立的 interrupt file。假设 hart 实现了 supervisor mode,则它的 IMSIC 至少有两个 interrupt file,一个用于 machine level,另一个则是 supervisor level。当 hart 也实现了 hypervisor extension 时,IMSIC 也会为 virtual hart 增加格外的 interrupt file 称之为 guest interrupt file。
IMSIC 为 virtual hart 提供 guest interrupt file 的数量正好是 GEILEN,即由 RISC-V 特权架构定义的hypervisor extension 支持 guest external interrupt 的数量。
interrupt file: 由一个 interrput pending array 和一个匹配的 interrupt enable array 所组成。每个 interrupt file 是由两个 bit 位数相同的 array 所组成的,一组用于纪录已经到达但尚未服务的 MSI(interrupt pending bit),另一组用于指定的 hart 将接受哪些 interrupt(interrupt enable bit),两组寄存器的每个 bit 位置对应不同的 interrupt ID。
透过该 interrupt ID 可以在 interrupt file 中区分来自不同来源的 MSI。由于 IMSIC 是 hart 的外部中断控制器,所以 interrupt file 对应的 interrupt ID 成为 external interrupt 的 minor identity,由软件指定(major identity是指interrupt cause)。
每个 interrupt file 支持的 interrupt 数量最小 63 最大 2047。当 interrupt file 支持 N 个不同的interrupt ID 时,有效ID介于 1~N 之间,因此超出此范围的不执行,数字 0 也不是有效的 interrupt ID。
IMSIC并未假定一个 interrupt file 的 interrupt ID 跟另一个 interrupt file 的 interrupt ID 有任何关系。通常希望软件不需要横跨 interrupt file 就能进行协调,将相同 interrupt ID 分配给不同的interrupt file中的不同MSI中断源。
系统中所有的 interrupt file 大小不一定皆相同,machine 以及 supervisor level 的 interrupt file 可能与 guest external interrupt 的 interrupt file 大小不同,不同 hart 的 interrupt file 大小也可能不相同。但是不同guest interrupt file的大小必须相同。
一个平台可以为软件提供配置接口去控制 interrupt file 的数量以及大小,但这不在本规范的讨论范围。然而建议只赋予 machine level 更改 interrupt file 的权力就好。
MSI encoding
PCI/PCIe等标准规定来自设备的MSI通常以对齐的32-bit写的方式实现,其MSI的写地址和写数据都是由该设备的软件驱动配置。根据设备或是控制器所遵循的标准,地址可能被限制在较低的4GB(32 bit)范围内,写入的值可能会被限制在16bit的范围内,较高的16bit会保持0。
当hart具备IMSIC时,来自设备的MSI通常由软件配置发送到目标hart对应的IMSIC中,IMSIC将接收到MSI存入对应特权等级的interrupt file中(pending置位),待软件置位enable后,将MSI本hart中的对应特权等级处理。MSI写地址是与目标interrupt file对应的word大小的特定寄存器的物理地址(通常指向hart index);MSI写数据是中断的identity number,并据于此,将该identity指定的pending寄存器的bit置1。
系统软件通过配置MSI的写地址和写数据,可以完全控制:
- 哪个 hart 接收指定的设备的 interrupt
- 目标为哪个特权级别或是 virtual hart
- 目标interrupt file(指定的hart关联的IMSIC中的哪个特权等级的interrupt file)存放该MSI的identity number
a和b可以找到目标interrupt file,c可以将该MSI存到identity指定的bit位置。由于IMSIC最多支持2047个中断,因此MSI identity number的范围为1-2047,因此MSI写数据位宽可以根据实际支持的MSI数量指定。
当 hypervisor extension 实作且设备由 guest os 管理时,设备的 MSI 地址会是 guest physical address,因为他们是由 guest OS 在设备上配置的,这些 guest 地址必须进行 IOMMU 的转换,IOMMU 会将这些 MSI 重新导向 interrupt file 获取正确的 guest external interrupt。
Interrupt priorities
在单个 interrupt file 当中,interrupt 的优先级是由 interrupt ID (MSI写数据,minor identity)决定的,号码越低表示优先级越高,完全由软件来配置。
Reset and revealed state
当 IMSIC 重置时,其所有 interrupt file 的状态将变为有效且一致,但除了 machien level 和 supervisor level 的 interrupt file 中可能指定了eidelivery,其余状态将未指定。
Interrupt file的memory region
IMSIC每个interrupt file中包含一个或两个寄存器用来存储MSI写数据(interrupt identity), 这些寄存器位在 physical address 空间对齐4KB,也就是每个 interrupt file 即一页(page,一个4KB空间只存放两个寄存器,其余位置保留且只读0)。
interrupt file 的 memory region 当中,除了已定义的部分,其他 byte 皆被保留,并且须为 read only 0。interrupt file 的 memory region,对于已定义的部分,则只接受对其 32bit 的 read 和 write。若对 read only 的 byte 进行写入,则直接忽略。
假设i表示interrupt identity,将i值写入到seteipnum_le会导致对中断i对应的pending位置位。反之若不是以 little-endian 方式的 interrupt ID,则忽略对 setipnum_le 的写入。
假设i表示interrupt identity,将i值写入到seteipnum_be会导致对中断i对应的pending位置位。反之若不是以 big-endian 方式的 interrupt ID,则忽略对 setipnum_be 的写入。如果系统只支持小端的字节写入,则会忽略对setipnum_be的写入。
seteipnum_be和seteipnum_le可以视为一个IMSIC的媒介,最终体现在对应中断位置的pending置位,他们作为memory-map的寄存器,需要规划每个hart的地址空间(4KB),因此如果外设的MSI接入到互联模块,可以根据规划的地址进行路由。这两个寄存器是不可读的,都会返回0,因此在硬件实现时,无需实现实际的寄存器与之对应。也就是说从seteipnum的写行为到interrupt file的pending置位可以通过非阻塞的方式实现。
多个interrupt file的内存空间排布
每个interrupt file都有大小为4KB的内存空间,系统中所有IMSIC的machine-level的interrupt file的内存空间应当在连续的物理地址区间,另外,多个supervisor-level和guest的interrupt file对应的内存空间应在另一片连续的物理地址区间内。这样做的好处是更好的实现PMP。
如果系统将诸多hart进行分组,则每组hart都有各自的地址空间。因此只需要保证分组内的多个interrupt file在连续的物理地址区间即可。这种情况下,每个组一个PMP表。
CSRs for external interrupts via an IMSIC
软件通过第2章节描述的CSR来访问IMSIC。machine level 的 CSR 与 IMSIC 的 machine level interrupt file 可相互互动;而 supervisor level 的 CSR 也能与 IMSIC 的 supervisor level interrupt file 可相互互动;同样地当 IMSIC 有 guest interrupt file,VS CSR 可与 guest interrupt file 相互互动。
machine level 相关的CSR有以下:miselect、mireg、mtopei。supervisor level 相关的 CSR 有以下:siselect、sireg、stopei。当 hypervisor extension 实现时,与 VS CSR 相关的有以下:vsiselect、vsireg、vstopei。
miselect 和 mireg通过间接的方式访问machine level的附带寄存器,同样的,supervispr level的siselect 和 sireg,以及 VS level 的 vsiselect 和 vsireg 也可以间接访问各自 level 的附带寄存器。需要注意的是这些附带寄存器即不是CSR,也不是memory-mapped的寄存器,它们在interrupt file中。
不同level的interrupt file的寄存器组相同,*iselectbiaoshi 这些寄存器的地址,它的范围在 0x70~0xFF ,会选择相对应在 IMSIC 的 interrupt file的寄存器,interrupt file结构如下:
寄存器0x71 和 0x73~0x7F 目前被保留。当 *iselect CSR 具有这些值之一(0x71和0x73~0x7f)时,从匹配的 *ireg CSR读取返回0,并且忽略 *ireg CSR 的写入行为。
eip0 到 eip63 对应所有实现的 interrupt ID 的 pending bit,统称之为 eip array;同样的 eie0 到 eie63 所对应 enabled bit 统称之为 eie array。每个寄存器32bit,eip0/eie0的bit0无效,因此interrupt ID的有效范围为1-2047,对应这些寄存器组的bit位置。
接下来我们将会更仔细介绍这些 interrupt file 里的寄存器。
间接访问的interrupt-file寄存器
External interrupt delivery enable register (eidelivery)
eidelivery用来控制interrupt file中的中断能否从IMSIC发送到所属的hart中。eidelivery 也可以支持将 interrupt 从 PLIC 或是 APLIC 直接传送到 hart。
eidelivery 定义了三个值如下:
如果 eidelivery 为 0 则表示 interrupt 传送关闭,如果 eidelivery 为1则表示从interrupt file的interrupt 传送使能,如果 eidelivery为0x4000_0000表示,可能是从PLIC或是APLIC传送 interrupt给hart,他们充当external interrupt controller。如果eidelivery支持 0x4000_0000,当reset时会将eidelivery初始化为0x4000_0000,否则 eidelivery在重置后为非指定的值 (0或1)。
External interrupt enable threshold register(eithreshold)
eithreshold用来确定能够发送中断到hart的最小的中断优先级,即最大的interrupt id。假设N为该interrupt file实现的最大interrupt id(意味着最小的中断优先级),eithreshold的合法取值范围为0-N。当eithreshold=P时,interrupt id >= P的中断将无法被发出,即使pending和enable都置位。当eithreshold=0时,所有中断都可以被发出。
白话文就是:向 hart 发出的 interrupt ,他的 priority 一定要比 eithreshold priority 还要大,若等于这个 interrupt 也一样无效。
External interrupt-pending registers (eip0–eip63)
当 interrupt file的寄存器是32 bit时,eipk存放了interrupt id为 k * 32 到 k * 32+31的中断的 pending bit。假设一个中断的interrupt ID为i,interrupt i 的 pending bit 则为 eipk 的 (i mod 32) bit。
当 interrupt file的寄存器是64bit时,奇数的寄存器 eip1、eip3、eip5...eip63 不存在。在这种情况下,如果 *iselect CSR是0x81~0xBF范围内的奇数值,且尝试访问*iregs CSR 会引发非法指令异常,若是在 VS level,则会引发伪指令异常(即,读*iregs会触发hart根据*iselect间接读interrupt file的寄存器,写*iregs会触发hart根据*iselect间接写interrupt file的寄存器)。对于偶数k,eipk存放了interrupt id为 k * 32 到 k * 32+63的中断的 pending bit。假设一个中断的interrupt ID为i,interrupt i 的 pending bit 则为 eipk 的 (i mod 64) bit。
External interrupt-enable registers (eie0–eie63)
当 interrupt file的寄存器是32 bit时,eiek存放了interrupt id为 k * 32 到 k * 32+31的中断的enable bit。假设一个中断的interrupt ID为i,interrupt i 的enable bit 则为 eiek 的 (i mod 32) bit。
当 interrupt file的寄存器是64bit时,奇数的寄存器 eie1、eie3、eie5...eie63 不存在。在这种情况下,如果 *iselect CSR是0xc1~0xFF范围内的奇数值,且尝试访问*iregs CSR 会引发非法指令异常,若是在 VS level,则会引发伪指令异常(即,读*iregs会触发hart根据*iselect间接读interrupt file的寄存器,写*iregs会触发hart根据*iselect间接写interrupt file的寄存器)。对于偶数k,eiek存放了interrupt id为 k * 32 到 k * 32+63的中断的enable bit。假设一个中断的interrupt ID为i,interrupt i 的enable bit 则为 eiek 的 (i mod 64) bit。
Top external interrupt CSRs (mtopei, stopei, vstopei)
mtopei直接与machine level的interrupt file交互,如果实现 supervisor mode,stopei 也能直接与 supervisor level的interrupt file交互,同样的如果实现了 hypervisor extension,vstopei 与选定的 guset interrupt file交互。
*topei CSR 的值表示在 interrupt file内当下具备最高优先级的enbale和pending同时置位的interrupt (越低的 interrupt ID 表示越高的优先级),同时该中断也满足eithreshold的优先级要求。
如果interrupt file不存在pending和enable同时置位的interrupt,或是同时置位的interrupt的优先级小于 eithreshold,则读取*topei CSR返回0,否则,读取 *topei 会返回以下:
*topei中的interrupt identity是external interrupt 的次要ID。
hart写入 *topei 将清除 interrupt file 中相对应的interrupt的pending bit(这表明该interrupt已经被处理完成)。详细地说,当hart写入 *topei时,寄存器*topei中interrupt identity=i,则中断i对应的eip寄存器的bit位被清零。当*topei的值全为0,则写操作无效。
如果对*topei进行了同时的读写,即CSRRW、CSRRS和CSRRC指令,读操作返回的值表示被清零的pending bit位。
Interrupt delivery and handling
IMSIC的interrupt file向hart提供 external interrupt signal,每个interrupt file提供一个interrupt signal。来自 machine level interrupt file的interrupt signal 表示,mip 举起 bit MEIP;来自supervisor level interrupt file的interrupt signal 在 mip 以及 sip 举起 bit SEIP;同样的,来自guest interrupt file的interrupt signal在hgeip pending bit被举起。
当 interrupt file的eidelivery为0时,interrupt delivery是关闭的,interrupt signal将无效。而当interrupt file 的 eidelivery为1时,interrupt pending以及enable bit被举起时,且优先度大于eithreshold,interrupt signal 才效。
通过 IMSIC 的 external interrupt trap handler流程大致如下:
1. 储存 processor 寄存器
2. i = 读取 mtopei 或是 stopei ,同时 claim interrupt
3. i = i >> 16
4. 呼叫 interrupt handler 去处理 external interrupt i
5. 恢复 processor 寄存器
6. 从 trap 中返回
原文图片附在下方