了解 RISC-V IOMMU

最新推荐文章于 2024-06-16 12:00:00 发布
最新推荐文章于 2024-06-16 12:00:00 发布
阅读量1.7k 收藏 22
点赞数 7
分类专栏： 操作系统 文章标签： risc-v iommu
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jingyu_1/article/details/137539089
版权

了解 RISC-V IOMMU

个人作为 IOMMU 初学者，从初学者的角度介绍我眼中 RISCV 的 IOMMU

如果有些描述不够专业，还请谅解，也欢迎讨论

部分内容来自 https://zhuanlan.zhihu.com/p/679957276（对于 RISCV IOMMU 规范手册的翻译，推荐前往此链接查找更详细的内容），同时增加了部分自己的理解

如侵删

一、IOMMU 的背景

输入输出内存管理单元 (IOMMU)，有时也称为系统 MMU (SMMU)，是一个系统级内存管理单元 (MMU)，用于将具有直接内存访问（DMA）功能的输入/输出 (I/O) 设备连接到系统内存。

没有 IOMMU 时：

  1. 非虚拟化的情况下，IO 设备得到的是物理地址，在进行 DMA 时可能破坏其他的设备或者系统内存

  2. 虚拟化的情况下，Guest OS 不能直接访问 PA，每次 DMA 操作都要陷入到 VMM 为 I/O 设备分配物理内存

有 IOMMU 时：

  1. 使得设备 DMA 更加安全，可以限制设备能够访问的物理内存
  2. 地址转换 IOVA -> PA，可以支持连续的 IOVA，非连续的 PA，可以利用物理内存中分散的页
二、IOMMU 在 SOC 中的位置

以 Spec 中的图5为例，该 SOC 集成了内存控制器和多个 IO 设备，还集成了两个 IOMMU 实例。

设备可以直接连接到 IO Bridge 和系统互连，也可以在需要将 IO 协议事务转换为系统互连事务时通过 Root Port 连接。

第一个 IOMMU 实例 IOMMU 0（与 IO Bridge 0 相关联）将一个 Root Port 连接到系统结构/互连（Root Port 是一个 PCIe 端口），一个或多个终端设备通过该 Root Port 与 SoC 连接。

第二个IOMMU 实例 IOMMU 1（与 IO Bridge 1 相关联）说明了在不使用 Root Port 的情况下将设备（IO 设备 A 和 B）连接到系统架构的情况。

IO Bridge 位于设备和系统互连之间，用于处理 DMA 事务，IO 设备可使用 IO 虚拟地址（VA、GVA 或 GPA）执行 DMA 事务，IO Bridge 调用相关的 IOMMU，将 IOVA 转换为监控器物理地址 (SPA)。

在这里插入图片描述

Host interface：它是连接 IOMMU 的接口，供 Harts 访问其内存映射寄存器，并执行全局配置和/或维护操作。

Data structure interface：它被 IOMMU 用于隐式访问内存。用于从主内存中获取所需的数据结构。

Device Translation Request：从 IO Bridge 接收转换请求。在此接口上，IO Bridge 提供有关请求的信息。

Device Translation Completion：用于提供 IOMMU 对先前请求的地址转换的完成响应。

**ATS **：如果 IOMMU 支持可选的 PCIe ATS 功能，则 ATS 接口用于通过 PCIe Root Port 与具有 ATS 功能的 EP（Endpoint，即 PCIe 设备） 通信。

三、IOMMU 导言

节选出了我认为有助于理解 IOMMU 的部分

对于通过 IOMMU 连接到系统的每个 I/O 设备，软件都可以在 IOMMU 上配置设备上下文，将特定的虚拟地址空间和其他针对设备的参数与设备关联起来。通过在 IOMMU 为每个设备提供独立的设备上下文，可以为每个设备单独配置一个操作系统，这个操作系统可以是 Guest OS，也可以是主（主机）操作系统。在设备发起的每一次内存访问中，IOMMU 都会通过某种形式的唯一设备标识符来识别发起访问的设备，然后IOMMU 会使用该标识符在软件提供的数据结构中找到相应的设备上下文。本规范将这种唯一的设备标识符称为 device_id，并支持多达 24 位宽的标识符。

某些设备可能支持共享虚拟寻址，即与设备共享进程地址空间的功能。为支持此类寻址，软件可将一个或多个进程上下文配置到设备上下文中。此类设备启动的每次内存访问都会伴随一个唯一的进程标识符，IOMMU 将该标识符与唯一的设备标识符结合使用，以定位软件在设备上下文中配置的适当进程上下文。例如，对于 PCIe，进程上下文可由唯一的 20 位进程地址空间标识符 (PASID) 标识。本规范将此类唯一进程标识符称为 process_id，并支持多达 20 位宽的标识符。

IOMMU 采用两阶段地址转换流程，将 IOVA 转换为 SPA，并对 DMA 实施内存保护。为了执行地址转换和内存保护，IOMMU 在第一阶段和第二阶段地址转换中使用与 CPU 的 MMU 相同的页表格式。使用与 CPU MMU 相同的页表格式，可以消除 DMA 在内存管理方面的一些复杂性。使用相同的格式还允许 CPU MMU 和 IOMMU 同时使用相同的页表。

IOMMU 采用的虚拟内存方案可为每个设备单独配置 IOMMU。设备使用 I/O 虚拟地址 (IOVA) 执行 DMA。根据为设备选择的虚拟内存方案，设备使用的 IOVA 可能是 Supervisor 物理地址 (SPA)、Guest 物理地址 (GPA) 或虚拟地址 (VA)。

IOMMU 中的 DMA 地址转换对 DMA 访问有一定的性能影响，因为使用软件提供的数据结构确定 SPA 所需的时间可能会延长访问时间。CPU MMU 中的类似开销通常是通过使用转换旁路缓冲器（TLB）来缓存这些地址转换，以便在后续访问中重复使用，从而减少转换开销。IOMMU 可以使用类似的地址转换缓存，即 IOMMU 地址转换缓存（IOATC）。当用于地址转换的内存驻留数据结构被修改时，IOMMU 为软件提供了使IOATC 与之同步的机制。软件可使用软件定义的上下文标识符（称为 Guest 软件上下文标识符 (GSCID)）配置设备上下文，以’指示设备集合被分配给同一虚拟机’，从而访问共同的虚拟地址空间。软件可使用称为进程软件上下文标识符（PSCID）的软件定义上下文标识符配置进程上下文，以标识’共享共同虚拟地址空间的进程’集合。IOMMU 可使用 GSCID 和 PSCID 标记 IOATC 中的条目，以避免重复并简化失效操作。

四、IOMMU 的几种使用模式
1、非虚拟化 OS 的情况

对于这种情况，我的理解是：

  1. 用来做保护的，限制 DMA 能访问的物理内存区域
  2. 支持可以使用分散的物理内存区域

IOMMU 为操作系统提供了一种机制，通过限制设备可访问的内存来防止这种意外损坏。如图所示，操作系统可通过页表配置 IOMMU，以转换 IOVA，从而将可访问的地址限制在页表允许的范围内。

传统的 32 位设备无法访问超过 4 GiB 的内存。如果没有 IOMMU，操作系统就必须通过分配在 4 GiB 以下内存中的缓冲区来复制数据。

IOMMU 可用于执行分散/聚集（scatter/gather）DMA，它允许为 I/O 分配较大的内存区域，而无需所有内存都是连续的。一个连续的虚拟地址范围可以映射到这些零散的物理地址，并用虚拟地址范围对设备进行编程。

IOMMU 可用于支持共享虚拟寻址，即与设备共享进程地址空间。用于 DMA 的虚拟地址由 IOMMU 转换为SPA。

当 IOMMU 被非虚拟化操作系统使用时，第一阶段足以提供所需的地址转换和保护功能，第二阶段可设置为 “Bare”。

在这里插入图片描述

2、Hypervisor 的情况

对于这种情况，我的理解是：

  1. Hypervisor 提供 GPA->SPA 转换，限制 Guest OS 访问的物理内存
  2. 同时也支持仅OS的情况，可以使用分散的物理内存
  3. 对于使用 MSI 中断的设备，可以借助 IOMMU 找到 VM 对应的中断文件

直接控制设备的 Guest OS 将使用 GPA 对设备进行编程。当设备使用这些地址执行内存访问时，IOMMU 就会使用 Hypervisor 提供的地址转换数据结构，负责将这些 GPA 转换为 SPA 。

在这里插入图片描述

为了处理由 Guest OS 控制的设备发出的 MSI，Hypervisor 会配置 IOMMU，将这些 MSI 重定向到 IMSIC 中的 Guest 中断文件（见下图）或内存驻留中断文件。IOMMU 负责使用 Hypervisor 提供的 MSI 地址转换数据结构来执行 MSI 重定向。

在这里插入图片描述

3、Guest OS 的情况

对于这种情况，我的理解是：

以上两种情况的结合，第一阶段地址翻译为了让 Guest OS 感知不到 Hypervisor 的存在，以为自己是一个物理机上的 OS（即第一种情况），第二阶段翻译对应以上的第二种情况

Hypervisor 可以通过硬件仿真或让 Guest OS 使用 Hypervisor 的软件接口来提供虚拟IOMMU 设施。Guest OS 可以使用虚拟 IOMMU 提供的设施，通过使用它所控制的第一阶段页表，获得与非虚拟化操作系统相同的好处。Hypervisor 会建立一个由其控制的第二阶段页表，以虚拟化虚拟机的地址空间，并包含从传递给虚拟机的设备到与虚拟机相关的内存的内存访问。

启用两阶段地址转换后，IOVA 首先使用 Guest OS 管理的第一阶段页表转换为 GPA，然后使用 Hypervisor 管理的第二阶段页表将 GPA 转换为 SPA。

IOMMU 配置为使用设备 D1 的第一阶段和第二阶段页表执行地址转换。第二阶段通常由 Hypervisor 用于将 GPA 转换为 SPA，并将设备 D1 限制为与 VM-1 相关的内存。第一阶段通常由 Guest OS 配置，将 VA 转换为 GPA，并将设备 D1 的访问限制在 VM-1 内存的子集上。

对于设备 D2，只有第二阶段处于激活状态，第一阶段设置为 “Bare”，我认为可以看作没有 OS 配置页表的情况，即看作使用没有使用虚拟地址的 RTOS 或者裸机程序。

Hypervisor 也可以保留一个设备（如 D3）供自己使用。第一阶段足以为设备 D3 提供所需的地址转换和保护功能，第二阶段设置为 “Bare”，这种情况和在没有虚拟化的 OS 类似。

在这里插入图片描述

京雨
关注
  • 7
    点赞
  • 踩
  • 22
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
risc-v下的IOMMMU
11-28
SV语言
RISC-V最先进CPU微架构分析
最新发布
亦安的数字小站
08-31 1273
近几年热门的RISC-V架构发展迅猛，尽管因为生问题，RISC-V应用方向主要是单片机级的，高端应用方向发展发展速度缓慢，依然有不少公司推出了基于RISC-V指令集的高端应用场景的处理器。本文汇总具有代表性的RISC-V公司推出的先进CPU微架构，其主要市场目标为服务器和PC端等高端应用方向。有分析表示，目前RISC-V阵营CPU微架构设计能力和ARM相比差距小于2年。
IOMMU
08-16 1924
一、MMU VS IOMMU Fig1. MMU地址转换框图 Fig2. 同一虚拟机下IOMMU地址转换框图 Fig3. 不同虚拟机下IOMMU地址转换框图 二、某个IO DEVICE如何找到其对应的IOPT? 设备发起DMA请求时，会将自己的Source Identifier（包含Bus/Device/Func）包含在请求中，IO MMU根据该标识完成映射。过程如下： Fig3. IOMMU页表查询过程 说明：1、IOMMU的页表，可以认为同属于一个虚拟机的io de
Linux系统设置IOMMU
qq_27815483的博客
06-16 1520
Linux系统下如何开启IOMMU，请看本文，本文经过实际环境验证
IOMMU简述-上篇
热门推荐
动则为奇，静则为陈
04-24 1万+
IOMMU的全称是Input/Output Memory Management Unit，即输入/输出内存管理单元，其主要功能链接DMA-capable I/O总线和系统内存。传统的内存管理单元MMU，是将CPU-visible的虚拟地址转换成物理地址，而IOMMU则是将Device-visible的虚拟地址转换成物理地址。例如：GART（Graphics Address Remappin
QEMU开启vIOMMU的VFIO设备直通下的地址翻译流程
qq_42138566的博客
03-12 271
此处，iova是GIOVA，vaddr是HVA，这次的ioctl(container->fd, VFIO_IOMMU_MAP_DMA, &map)最终完成了在Host IOMMU页表中的GIOVA到HPA的PFN的映射。IOMMU映射[786432,size=2146697216]IOVA->[0x7ffecfec0000]HVA。IOMMU映射[786432,size=131072]IOVA->[0x7fffd8400000]HVA。4G GPA地址区间和HVA的IOMMU映射关系已全部建立。
iommu介绍
doujiangbear的博客
08-19 9254
iommu功能 IOMMU主要功能包括DMA Remapping和Interrupt Remapping，这里主要讲解DMA Remapping，Interrupt Remapping会独立讲解。对于DMA Remapping，IOMMU与MMU类似。IOMMU可以将一个设备访问地址转换为存储器地址，下图针对有无IOMMU情况说明IOMMU作用。 在没有IOMMU的情况下，网卡接收数据时地址转换流程，RC会将网卡请求写入地址addr1直接发送到DDR控制器，然后访问DRAM上的addr1地址，这里的
什么是IOMMU
FinixLei的专栏 (https://github.com/FinixLei)
07-14 1万+
IOMMU简介
IOMMU 扫盲
liyucheng987的博客
10-27 7495
本文主要介绍下IOMMU的相关知识点，相关细节，将在后续的文章中，结合代码，详细讲解。 本文内容是对相关材料的汇总，并非原创。详情参见文章末尾的参考资料。 1. 什么是IOMMU IOMMU（Input/Output Memory Management Unit）是一个内存管理单元（Memory Management Unit），它的作用是连接DMA-capable I/O总线（Direct Memory Access-capable I/O Bus）和主存（main memory）。传统的内存管理单元
MMU 和 IOMMU
布袋和尚
11-09 4031
（2）如果将这个物理设备通过透传的方式进入到虚拟化虚拟机里，虚拟机的设备驱动配置设备的DMA 后，hypervisor 必须在透传设备 DMA 访问时刻，对 DMA 访问进行截获，将其中 DMA 访问的虚拟机物理地址，转换为 hypervisor 为虚拟机分配的物理地址，也就是需要将虚拟机透传设备DMA 访问做 vpaddr（虚拟机物理地址）----> ppaddr（物理机物理地址）。）即转换快表，又简称快表，可以理解为 MMU 内部专用的存放页表的 cache，保存着最近使用的 PTE 乃至全部页表。
RISC-V IOMMU Specification 译文
02-29
### RISC-V IOMMU 规格解析 #### 引言 RISC-V International 组织发布了关于 RISC-V 输入/输出内存管理单元 (IOMMU) 的规范文档，版本为 v1.0.0，发布日期为 2023 年 7 月 25 日。此文档主要介绍了 RISC-V IOMMU ...
iommu-zero-day-labs/riscv-iommu
12-14
iommu-zero-day-labs/riscv-iommu项目是一个专注于RISC-V架构的IOMMU（Input/Output Memory Management Unit）研究与开发的资源库。RISC-V是一种开放源码的指令集架构，近年来在嵌入式计算、数据中心以及高性能计算...
iommu11111111111111111111111111111111
10-27
在给定的压缩包文件"riscv-iommu-1.0.0"中，我们可以推测这可能是一个针对RISC-V架构的iommu实现或者相关的驱动程序库。RISC-V是一种开放源码的指令集架构，近年来在嵌入式、物联网和高性能计算等领域得到了广泛应用...
iommu相关知识点归纳总结
12-23
RISC-V是一种开放源代码的指令集架构，尽管IOMMU在RISC-V文档中没有明确提及，但随着RISC-V在服务器和嵌入式领域的广泛应用，IOMMU技术也将成为其生态系统中的重要组成部分。未来可能会有针对RISC-V的IOMMU实现，以...
OSDT19-CSKY-Intro.pdf
12-09
3. **RISC-V64**：除了自身的C-SKY ISA之外，文档还提到了对RISC-V 64位指令集的支持，这表明cSKY生态系统还兼容其他开放标准的RISC架构。 #### 三、cSKY在Linux中的支持情况 文档中提到了cSKY在Linux内核中的支持...
iommu相关
weixin_51627652的博客
08-15 1238
在IOMMU开启的情况下，I/O设备访问内存时需要进行地址转换，这可能会影响I/O设备的性能，从而影响整个系统的性能。如果系统的I/O负载较轻，建议关闭IOMMU以提高系统性能。由于IOMMU通过把I/O设备的访问映射到虚拟内存上，能够有效地减少不必要的内存访问，提高了I/O设备的性能。通过IOMMU的地址映射机制，可以避免I/O设备访问未授权的内存地址，保障了系统的稳定性与安全性。如果系统中有需要保密的数据，或者需要防止恶意软件/恶意用户直接访问物理内存的情况，建议开启IOMMU，以增强系统的安全性。
IOMMU介绍
OS Developer的博客
02-21 1277
对IOMMU的作用进行介绍
RISCV MMU 概述
pwl999的博客
03-20 6563
1. 背景简介 Linux 内存管理包含很多内容，主要知识点可以参考 Linux Mem。本文只描述其中的一个知识点 Paging and MMU。 本文以全志 D1 为例，包含了平头哥出品的一颗 Riscv64 的 CPU IP-Core，代号 C906。具体手册可以参考 C906 用户手册。 2. X86_64 同样是 64bit cpu，x86_64 支持 48bit 和 57bit 两种线性地址模式，分别对应 4level 和 5level mmu 映射： 线性地址 mmu 层级 Linu
IOMMU和SMMU详解
Summer的博客
04-22 2864
IOMMU（输入输出内存管理单元）的原理与CPU中的MMU（内存管理单元）相似。它的作用是管理设备的内存访问请求，允许安全、高效地在设备和内存之间直接传输数据。IOMMU通常用于支持高速数据传输的设备，如图形卡、网络卡和存储设备。IOMMU与MMU相似，IOMMU是把外部设备地址到存储器地址的转换。IOMMU中存放了IO页表虚实地址转换关系和访问权限，而且处理器加速虚实地址转换，还设置了IOTLB作为IO页表的Cache。
请用verilog实现一个复杂的64位 risc-v iommu模块
05-30
这里我提供一个简单的64位RISC-V IOMMU模块的verilog代码示例。这个模块支持基本的输入输出设备和主存之间的数据传输，并提供了虚拟化和内存隔离支持。 ``` module riscv_iommu( input clk, input rst, input [63:0] in_addr, input [63:0] out_addr, input [2:0] access_mode, input [63:0] page_table_base, input [63:0] page_table_mask, output [63:0] data_in, input [63:0] data_out ); /* 定义一些常量 */ localparam PAGE_SIZE = 8192; localparam PAGE_OFFSET_BITS = 13; localparam PAGE_TABLE_SIZE = 4096; /* 定义一些寄存器 */ reg [63:0] mem[1024]; // 主存 reg [63:0] in_data; // 输入数据 reg [63:0] out_data; // 输出数据 reg [63:0] page_table[PAGE_TABLE_SIZE]; // 页表 reg [63:0] page_table_entry; // 页表项 /* 定义一些辅助函数 */ function [63:0] translate_address; input [63:0] addr; input [63:0] page_table_base; input [63:0] page_table_mask; reg [63:0] translated_addr; reg [31:0] page_offset; reg [31:0] page_index; reg [31:0] page_table_index; page_offset = addr[PAGE_OFFSET_BITS-1:0]; page_index = addr[63:PAGE_OFFSET_BITS]; page_table_index = page_index % PAGE_TABLE_SIZE; page_table_entry = page_table[page_table_index]; if (page_table_entry[0]) begin // 检查页表项的有效位 translated_addr = {page_table_entry[62:13], page_offset}; end else begin translated_addr = 64'h0; // 无效地址 end if ((addr & page_table_mask) != (translated_addr & page_table_mask)) begin translated_addr = 64'h0; // 无效地址 end return translated_addr; endfunction /* 主要的IOMMU功能 */ always @(posedge clk) begin if (rst) begin in_data <= 0; out_data <= 0; end else begin case(access_mode) 3'b000: in_data <= data_in; // 读模式 3'b001: mem[in_addr] <= in_data; // 写模式 3'b010: out_data <= mem[out_addr]; // 读取主存中的数据 3'b011: out_data <= data_out; // 直接输出数据 3'b100: begin // 页表读模式 out_data <= page_table[in_addr[31:3]]; end 3'b101: begin // 页表写模式 page_table[in_addr[31:3]] <= data_in; end 3'b110: begin // 虚拟地址翻译 out_data <= translate_address(in_addr, page_table_base, page_table_mask); end endcase end end endmodule ``` 这个模块包含了一个主存数组、一个输入输出端口和一个页表。在读模式下，数据输入端口的数据会被存储在in_data寄存器中；在写模式下，in_data寄存器中的数据会被写入到主存中。在读取主存中的数据时，out_addr指定了要读取的地址；在直接输出数据模式下，data_out端口中的数据会被直接输出到外部。在页表读写模式下，in_addr指定了要读写的页表项地址。在虚拟地址翻译模式下，in_addr指定了要翻译的虚拟地址，page_table_base和page_table_mask分别指定了页表的基地址和掩码。在翻译过程中，模块会根据页表和掩码计算出物理地址，并将其输出到out_data端口中。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值