QEMU内存管理模型

内存管理作为核心模块，不仅重要而且复杂。本文主要是为了个人学习，理清基本框架。

文章重点还是针对一些原理来分析，为什么会这样设计，实现了什么目标，这样更容易理解。所以一定要明确一点，QEMU的内存管理旨在处理VM的所有地址空间访问，这是核心的目的。

一、基本数据结构

AddressSpace、MemoryRegion和RAMBlock。

1、AddressSpace

AddressSpace的意义，从名字可以看出，是针对整个地址空间，最顶层的内存管理结构。对于X86的架构，其实是有两种寻址方式的，一种是memory一种是IO。相应的QEMU会维护两个AddressSpace结构，address_space_memory和address_space_io。

AddressSpace的定义其实比较简单，有两个QEMU内存管理框架的核心结构，就是MemoryRegion和FlatView，两者配合使用，MemoryRegion是基础（MemoryRegion），用于正向管理；Flatview用于反向查找。

/**
 * struct AddressSpace: describes a mapping of addresses to #MemoryRegion objects
 */
struct AddressSpace {
    /* private: */
    struct rcu_head rcu;
    char *name;
    MemoryRegion *root;

    /* Accessed via RCU.  */
    struct FlatView *current_map;

    int ioeventfd_nb;
    struct MemoryRegionIoeventfd *ioeventfds;
    QTAILQ_HEAD(, MemoryListener) listeners;
    QTAILQ_ENTRY(AddressSpace) address_spaces_link;
};

2、MemoryRegion

MemoryRegion是一个树状结构。每个MemoryRegion里会有一个链表头维护child region，还有一个链表单元subregions_link用于挂接到上一级的sub_region链表上，还有向上查找的container指针指向父节点。所以MemoryRegion并不是并列的多个地址块组成（一级链表维护就可以），而是有层级关系的。

1、MemoryRegion里有基础的hwaddr和size，是针对GUEST视角的地址，GPA；还有一个offset。

2、父子MemoryRegion是从属关系，每个MemoryRegion涵盖自己所有的child region空间；

3、同一个MemoryRegion下的child列表是并列的，但未必是互斥的，如果有重复的地址空间，则会根据优先级来选择。

4、最上层的MemoryRegion记录在AddressSpace的root变量。

5、有一点需要注意，qemu里维护的是整个地址空间，所以MemoryRegion虽然名字如此，但它并非只针对内存。除了内存，还包括pci bar空间（memory）、config空间（io/memory）等，guest对所有地址空间的访问，都要由它接管。

到这里，可能要有一点疑问，什么场景下会创建这样的父子关系，一个root region下，每个连续的内存块组成一个region，比如每个RAM块生成一个region，每个pci bar空间生成一个region，是不是就可以了。这个可能是为了大家更方便的使用，比如virtio的驱动实现，对于virtio1.1而言，同一个pci bar空间的基础上又可以按功能分为4个区间，所以pci bar空间的MemoryRegion下又可以有4个memory Region作为他的sub region。真正的功能接口是到最下面一级的memory region中实现的。

MemoryRegion结构拓扑图

讲到这里，又要引申出一个重要的概念。

3、MemoryRegion类型

MemoryRegion的类型有三种：

• 根级 MemoryRegion: 直接通过 memory_region_init 初始化，没有自己的内存，用于管理 subregion。如 system_memory。
• 实体 MemoryRegion: 通过 memory_region_init_ram 初始化，有自己的内存 (从 QEMU 进程地址空间中分配)，大小为 size 。如 ram_memory(pc.ram) 、 pci_memory(pci) 等。 这种MemoryRegion中真正的分配物理内存，最主要的就是pc.ram和pci。分配的物理内存的作用分别是内存、PCI地址空间以及fireware空间。QEMU是用户空间代码，分配的物理内存返回的是hva，hva保存至RAMBlock的host域。通过实体MemoryRegion对应的RAMBlock可以管理HVA。
• 别名 MemoryRegion: 通过 memory_region_init_alias 初始化，没有自己的内存，表示实体 MemoryRegion(如 pc.ram) 的一部分，通过 alias 成员指向实体 MemoryRegion，alias_offset 代表了该别名MemoryRegion所代表内存起始GPA相对于实体 MemoryRegion 所代表内存起始GPA的偏移量。如 ram_below_4g 、ram_above_4g 等。

以上摘自https://www.cnblogs.com/ccxikka/p/9477530.html

刚开始对别名MemoryRegion会有很多疑惑，就我目前的理解而言，这个实现机制很大一部分原因与硬件架构的地址拓扑有关。就X86而言，地址分布不是连续的，比如3G-4G空间是专门给APIC/中断、IO映射等预留的资源；这大概是从原来的i386衍生而来，32位机器，内存从0开始，1GB或者2GB；后面的地址空间预留给中断、IO映射。扩展到X64后，这些地址还是保留了原来的拓扑，只是内存和MMIO的地址扩展到了4GB以上的地址空间。这样就导致了内存的物理地址空间也是不连续的。即使对于同一个内存条，它的大小为16GB，那么它的地址也是离散的[0-2G][4-18G]。

这就是别名MemoryRegion的来源。对于这种场景，会有一个对应内存条16GB大小的实体MemoryRegion，然后会有两个2GB和14GB大小的别名MemoryRegion，别名MemoryRegion的父节点就是root memory region，两个别名MemoryRegion的addr分别是0和4GB（+root memory region的addr，还是0和4G，这对应CPU视角的PA），alias_offset分别是0和2GB（这是在内存条内部的offset）。而被别名MemoryRegion->alias指向的实体MemoryRegion是不在RootMemoryRegion树上的，所以这个MemoryRegion里的addr是不重要的，而指向它的一个或多个别名MemoryRegion挂在了AddressSpace里的memory region树上。

所以明确一点，不是所有的MemoryRegion都会直接挂到这个内存树上，但是都可以通过这个树状结构串联起来（别名MemoryRegion的alias指针）。

3、RAMBlock

QEMU的内存管理模块，RAMBlock又是一个很重要的概念，它维护的是内存条，一个RAMBlock对应一个内存条。内存管理最基础的一部分自然是物理Memory内存，然后还包括MMIO空间、IO端口的地址空间。

每个MemoryRegion里都包含一个RAMBlock的指针，但不一定会对应一个RAMBlock。对于物理内存，则其实体MemoryRegion会指向一个实体RAMBlock。

RAMBlock结构体定义里如下，其中主线逻辑变量offset(GPA)和host(HVA)。还有dirty_map和receivedmap是热迁移存储脏页使用。

struct RAMBlock {
    struct rcu_head rcu;
    struct MemoryRegion *mr;
    uint8_t *host;
    uint8_t *colo_cache; /* For colo, VM's ram cache */
    ram_addr_t offset;
    ram_addr_t used_length;
    ram_addr_t max_length;
    void (*resized)(const char*, uint64_t length, void *host);
    uint32_t flags;
    /* Protected by iothread lock.  */
    char idstr[256];
    /* RCU-enabled, wri