KVM同步脏页原理

已于 2023-06-20 16:53:16 修改
阅读量4.4k 收藏 17
点赞数 11
分类专栏： 内存迁移 虚拟化 文章标签： kvm 脏页标记
于 2020-12-12 23:55:36 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/huang987246510/article/details/108348207
版权

文章目录


QEMU在内存迁移阶段首先会标脏所有内存页，然后通知KVM开启脏页统计。本章主要介绍KVM在脏页统计中的作用，首先介绍intel x86脏页统计的硬件基础，然后介绍KVM中脏页统计相关数据结构、脏页开启的IOCTL命令字介绍、脏页统计发起流程，最后实验验证上述分析。

硬件基础

  • KVM脏页统计离不开硬件支持，在Intel没有引入PML(Page Modification Logging)特性之前。主要利用SPTE的D状态位跟踪脏页。在引入PML之后，则通过PML跟踪脏页，其主要功能是记录虚机写内存页的行为并将内存页的地址GPA记录下来。我们分别介绍SPTE和PML。

SPTE

硬件要素

请添加图片描述
在这里插入图片描述

  • 上图为intel Page table各个字段定义，其中bit 6称为脏页标记位，我们知道intel Page table有两个作用，一个是指向真正的物理页，一个是指向包含下级页表内容的物理页，用于线性地址转化。
  • 当一个Page table指向真正物理页的条目（作为SPTE）时，如果CPU对该SPTE指向的物理页有写操作，硬件会将脏页标记位置位，CPU下一次写该页时会再次置位（需要软件清零脏页位），通过硬件置位-软件清零的手段，软件可以跟踪到虚拟机脏页状态。

工作流程

  • TODO

PML

硬件要素

在这里插入图片描述

  • PML是Intel为支持虚拟化场景下脏页跟踪而开发的硬件特性，使用该特性涉及到Intel的几个硬件元素，下面根据以上图示一一介绍：
  1. Accessed and Dirty flags：这是EPTP字段中位于bit 6的一个标志位，当设置此标志位后，它告诉CPU每当使用EPT查询HPA时，将页结构存放的表项中的Accessed位(bit 8)置1，对于指向物理页的页表项，当往指向的物理页中写数据时，将它的Dirty位(bit 9)置1。
  2. PML flag：这是VMCS VM-Exection Controls Field区域的一个标志位，用于使能PML特性。只有在Accessed and Dirty flags位开启时，才可以使能PML。
  3. PML Buffer：一块内存区域，用来存放上一次开启PML特性之后，CPU写过的物理页的地址，大小为4K，可以存放512条GPA。KVM就是通过这个区域来跟踪内存脏页。
  4. PML Address：用来保存PML Buffer的内存物理地址，它是VMCS VM-Execution control field的一个字段。
  5. PML index：用来保存PML Buffer的索引，长度16 bit，表示范围0-511，和PML Buffer中的条目对应。PML index用来保存下一次CPU写物理页保存GPA时在PML Buffer中的位置。PML index每次递减。

工作流程

在这里插入图片描述

  • 下面介绍开启PML特性之后，记录脏页的整个工作流程，如图所示，分以下5个步骤：
  1. 当CPU想要记录内存脏页，比如迁移开始时，首先设置Accessed and Dirty flags和PML flag标志，使能脏页记录功能。当CPU写VM的物理内存页时，如果发现Accessed and Dirty和PML都使能了，会首先将对应表项的Access和Dirty位置1，然后将GPA记录到PML Buffer中。每写一次物理内存页，PML Buffer就多一条GPA的记录，PML index减1。
  2. 当PML Buffer被填满时，会产生page-modification log-full event，然后触发VMExit。
  3. CPU退出到根模式的内核态之后，KVM会判断退出原因，如果是PML Buffer满引起的退出，会将PML Buffer的内容保存下来，然后PML Buffer的索引PML index会被重新置为511。
  4. PML Buffer的内容，就是CPU最近写过的内存页地址，它就是内存的脏数据，对于内存迁移来说，该数据可以用来评估虚机的内存变化量。如果PML Buffer中内容较少，那么Qemu可以将虚机暂停然后一次性拷贝完。
  5. 当CPU不想记录内存脏页，迁移已经完成后，就可以关闭PML特性。
  • 注意：上面的过程是Intel PML特性的通用使用过程，对于kvm的实现中，并不是每次迁移开始前才开启PML特性，而是在kvm模块初始化的过程中开启，PML Buffer的分配是在vcpu创建过程中。迁移结束也不会关闭PML特性。PML特性是一直存在于KVM模块的生命周期中的。

数据结构

用户态

  • RAMList
typedef struct {
   ......
   /* 存放记录脏页的位图，一个block元素可以表示的内存范围是256K个内存页 */
    unsigned long *blocks[];
} DirtyMemoryBlocks;

typedef struct RAMList {
	......
	/* 虚机占用的所有主机上的RAM内存块集合 */
    QLIST_HEAD(, RAMBlock) blocks;
    /* 用户态从内核获取虚机脏页信息时保存到的结构体 */
    DirtyMemoryBlocks *dirty_memory[DIRTY_MEMORY_NUM];
} RAMList;
  • RAMBlock
struct RAMBlock {
	...... 
	/* 内存区域表示的最大范围，单位是字节 */
	ram_addr_t max_length;
	/* dirty bitmap used during migration */
	/* 记录该内存区域脏页情况的位图，一个内存页对应一个bit位
	    它是一个长整形指针数组，整个数组元素长度加起来转换
	    成bit数等于max_length/4K 
	    */
    unsigned long *bmap;								
	......
}
  • 用户态与脏页统计有关的数据结构有以上两个，RAMList和RAMBlock，它们各自的数据结构图示如下，既然都是统计脏页，为什么需要两个数据结构呢？个人觉得，这两个数据结构的使用场景是不一样的，RAMList用在从内核获取脏页的时候，它表示脏页的粒度是kvm中的一个slot；而RAMBlock中的位图用来描述一个RAMBlock的脏页使用情况，它表示的脏页粒度是Qemu中的一个RAMBlock。在内存迁移统计脏页过程中，会依次使用这两个数据结构统计剩余内存的脏页数量。
    在这里插入图片描述

内核态

  • vcpu_vmx
struct vcpu_vmx {
	struct page *pml_pg; 
	......
}
  • vmcs_field_to_offset_table
vmcs_field_to_offset_table[] = { 
	......
	FIELD(GUEST_PML_INDEX, guest_pml_index),
	FIELD64(PML_ADDRESS, pml_address)
	......
}
  • kvm_userspace_memory_region
/* for KVM_SET_USER_MEMORY_REGION */
struct kvm_userspace_memory_region {
	/* 内存区间所在的插槽 */
	__u32 slot;								
	/* 当flags包含KVM_SET_USER_MEMORY_REGION标识时
	   表示开启这段内存的脏页记录  
	   */
	__u32 flags;					
	/* 虚机内存区间物理地址 */		
	__u64 guest_phys_addr;
	/* 虚机内存区间大小 */
	__u64 memory_size; /* bytes */
	/* 分配给这段内存区间的实际的用户态地址HVA */
	__u64 userspace_addr; /* start of the userspace allocated memory */
};
  • kvm_dirty_log
/* for KVM_GET_DIRTY_LOG */
struct kvm_dirty_log {
	__u32 slot;
	__u32 padding1;
	union {
		void *dirty_bitmap; /* one bit per page */
		__u64 padding2;
	};
};
  • kvm_memory_slot
struct kvm_memory_slot {
	gfn_t base_gfn;
	unsigned long npages;
	unsigned long *dirty_bitmap;
	u32 flags;
    ....
};

API

  • 为了让用于态统计虚机的脏页，内核提供了两个接口，分别是KVM_SET_USER_MEMORY_REGION、KVM_GET_DIRTY_LOG，这两个接口

脏页开启

  • 内核提供了两个命令供用户态统计虚机的脏页，KVM_SET_USER_MEMORY_REGION、KVM_GET_DIRTY_LOG，KVM_SET_USER_MEMORY_REGION命令字作用在vm的fd，用来通知kvm开启对某段内存区域的脏页跟踪，结构体kvm_userspace_memory_region 是用户态传入的参数，用来描述kvm应该跟踪的内存区域，如下：
Capability: KVM_CAP_USER_MEMORY
Architectures: all
Type: vm ioctl          /* 虚机vm ioctl命令字 */
Parameters: struct kvm_userspace_memory_region (in)
Returns: 0 on success, -1 on error
 
  struct kvm_userspace_memory_region {
    __u32 slot;
    __u32 flags;
    __u64 guest_phys_addr;
    __u64 memory_size; /* bytes */
    __u64 userspace_addr; /* start of the userspace allocated memory */
  };
  /* for kvm_memory_region::flags */
  #define KVM_MEM_LOG_DIRTY_PAGES    (1UL << 0)
  #define KVM_MEM_READONLY    (1UL << 1)

脏页获取

  • KVM_GET_DIRTY_LOG命令字作用在vm的fd，用来获取内核跟踪的脏页信息，结构体kvm_dirty_log作为参数用来指定要查询的内存slot，同时保存内核的脏页查询结果，如下：
Capability: basic
Architectures: all
Type: vm ioctl
Parameters: struct kvm_dirty_log (in/out)
Returns: 0 on success, -1 on error
 
  /* for KVM_GET_DIRTY_LOG */
  struct kvm_dirty_log {
    /* 输入，指定要查询脏页的内存slot */
    __u32 slot;
    __u32 padding;
    union {
        /* 输出，保存kvm查询到的脏页 */
        void __user *dirty_bitmap; /* one bit per page */
        __u64 padding;
    };
  };

流程

使能记录

  • KVM的PML特性在模块初始化的过程中完成，每创建一个vcpu，需要为其分配PML Buffer并初始化PML Index。
使能PML特性：
/* kvm模块初始化入口  */
vmx_init										
	kvm_init
		kvm_arch_hardware_setup
			vmx_x86_ops.hardware_setup
				hardware_setup
					/* 设置VMCS区域内存的内容
					   在VMLAUNCH和VMRESUME的时候被加载到VMCS区域
					 */
					setup_vmcs_config
						/* 设置SECONDARY_EXEC_ENABLE_PML标识使能PML */
						opt2 = SECONDARY_EXEC_VIRTUALIZE_APIC_ACCESSES | XXX | SECONDARY_EXEC_ENABLE_PML
						adjust_vmx_controls(min2, opt2, MSR_IA32_VMX_PROCBASED_CTLS2, &_cpu_based_2nd_exec_control)
						vmcs_conf->cpu_based_2nd_exec_ctrl = _cpu_based_2nd_exec_control;
设置PML Buffer地址和PML Index初始值：
/* vcpu创建入口 */
vmx_create_vcpu
	vmx_vcpu_setup
		/* 如果使能了PML特性，分配一个物理页给pml_pg用作PML Buffer */
		if (enable_pml) {
			vmx->pml_pg = alloc_page(GFP_KERNEL | __GFP_ZERO);
		}
		/* 将分配好的PML Buffer地址写入VMCS的对应区域，同时初始化PMLIndex为511  */
		if (enable_pml) {
			vmcs_write64(PML_ADDRESS, page_to_phys(vmx->pml_pg)); 
			vmcs_write16(GUEST_PML_INDEX, PML_ENTITY_NUM - 1);
		}

记录脏页

流程图

在这里插入图片描述

具体过程

  • 根据PML的硬件特性，每当CPU在Guest态根据EPT转换地址后，写数据到物理页，这时如果PML特性开启，在设置EPT页表项的Dirty位之后，还会将GPA地址写入PML Buffer。这里intel暗含的假设是之后Dirty标志位从0变成1，才能写PML Buffer，而Dirty标志位的变成1之后的清零动作是软件做的，因此如果想要记录一个slot的脏页，需要将引用这个slot的所有页表项的Dirty标志位都清零。开启脏页记录需要做以下两件事情：
  1. 清零Dirty位：KVM的实现中，在创建slot时，如果不想记录某个slot包含的所有物理页的是否为脏，需要默认将这些物理页对应的页表项的Dirty页置位，因为如果Dirty位是0，Guest态CPU写物理页时会将其置1并且填充GPA到PML Buffer，如果PML Buffer满了，就会触发VMExit，增加不必要的开销。反之，要记录脏页，首先需要将指向slot包含的所有物理页的spte的Dirty位清零，这里需要根据gfn找到指向该gfn对应页的spte，反向映射数组rmap就派上了用场。
  2. 物理页开启写保护：除了清零页表项的Dirty位，记录脏页还需要开启页的写保护，在脏页记录的过程中，所有slot包含的物理页变成只读，当CPU写访问这个页时，发生缺页异常，kvm会重新分配一个新的页给CPU。在脏页记录关闭后，才能将写保护去掉，slot包含的所有页变成可读写。
/* kvm ioctl入口 */
kvm_vm_ioctl
	/* slot命令字，内核根据传入的参数
	   对应地增加，删除和更新slot
	   这里要跟踪slot的脏页，算在更新里面
	   */
    case KVM_SET_USER_MEMORY_REGION
    kvm_vm_ioctl_set_memory_region
        kvm_set_memory_region
            __kvm_set_memory_region
            	/* 根据用户态传入的参数，设置slot，这里是开启脏页的记录*/
                kvm_set_memslot
                    kvm_arch_commit_memory_region           
                        kvm_mmu_slot_apply_flags
                        	/* 根据intel vmx的特性开启脏页记录 */
                        	if (new->flags & KVM_MEM_LOG_DIRTY_PAGES) {
                        		if (kvm_x86_ops.slot_enable_log_dirty) {
                        			/* 对于x86平台，如果intel提供了PML机制可以记录脏页，进入这个流程 */
									kvm_x86_ops.slot_enable_log_dirty(kvm, new)
									kvm_x86_ops.slot_enable_log_dirty   <=>   vmx_slot_enable_log_dirty
								} else {
									/* 在没有PML机制的情况下，使用页只读的方式记录脏页 
									 * 判断两种情况，分别处理：
									 * 1. 首次迭代时位图都标记为1，不需要标记4k小页，但需要标记
									 * 2M的大页为只读，这样kvm在处理虚机大页访问异常时会将其拆
									 * 分成小页。
									 * 2. 对于其它轮次的迭代，需要将所有4k页的页表项都标记为只读
									 */
                        			int level =
										kvm_dirty_log_manual_protect_and_init_set(kvm) ?
										PG_LEVEL_2M : PG_LEVEL_4K;
										kvm_mmu_slot_remove_write_access(kvm, new, level);
                            	}	
                          	}
  • 分析x86架构下使用PML机制记录脏页的流程，kernel中关于PML场景下的comment如下：
        /*
         * Dirty logging tracks sptes in 4k granularity, meaning that
         * large sptes have to be split.  If live migration succeeds,
         * the guest in the source machine will be destroyed and large
         * sptes will be created in the destination.  However, if the
         * guest continues to run in the source machine (for example if
         * live migration fails), small sptes will remain around and
         * cause bad performance.
         *
         * Scan sptes if dirty logging has been stopped, dropping those
         * which can be collapsed into a single large-page spte.  Later
         * page faults will create the large-page sptes.
         */
  • 流程如下：
vmx_slot_enable_log_dirty
	kvm_mmu_slot_apply_flags
		/* cpu_dirty_log_size存在表明开启了PML，使能脏页日志跟踪分两种情况 
         * 1: 对于4K普通的页，只需要清零D-bit状态位即可
         * 2: 对于2M大页，除了清零D-bit状态位，还需要使能写保护
         *    使得虚机访问大页页表时也能触发异常，陷入kvm后以4k页的粒度分配虚机的页
         *    从而将大页拆分为小页
         */
		if (kvm_x86_ops.cpu_dirty_log_size) {
		    /* 清零D状态位，方便硬件下一次统计 */
			kvm_mmu_slot_leaf_clear_dirty(kvm, new);
			   /* 这里通过rmap数据，遍历指向slot包含的所有物理页的spte
	 	 	    * 针对每个spte调用__rmap_clear_dirty函数 
 	 	 	    */
 			    slot_handle_leaf_4k(kvm, memslot, __rmap_clear_dirty, false)
			/* 开启所有2M大页页表项的写保护功能 */
			kvm_mmu_slot_remove_write_access(kvm, new, PG_LEVEL_2M);
		} else {
			kvm_mmu_slot_remove_write_access(kvm, new, PG_LEVEL_4K);
		}
		
/* 清零表项的Dirty位*/
__rmap_clear_dirty
	spte_clear_dirty
		/* 将kvm模块初始化时设置的Dirty默认值取出，用于设置spte的Dirty位 */
		spte &= ~shadow_dirty_mask                          			
		mmu_spte_update
			......
			__set_spte
				/* 更新spte表项 */
				WRITE_ONCE(*sptep, spte)
				
/* 设置slot包含的所有页写保护WP */
kvm_mmu_slot_remove_write_access
	slot_handle_large_level(kvm, memslot, slot_rmap_write_protect, false);
		__rmap_write_protect(kvm, rmap_head, false)
			spte_write_protect(sptep, pt_protect)
				/* 清零页表项的bit 1，不允许CPU写物理页 */
				spte = spte & ~PT_WRITABLE_MASK
				mmu_spte_update
					......
					__set_spte
					/* 更新spte表项 */
					WRITE_ONCE(*sptep, spte)
  • 脏页日志开启后，对于使用位图方式跟踪的4k页，缺页异常的快速处理逻辑中，会首先将脏页在slot的位图中标记，然后将页表项标记为可写，不会进入慢速处理分配页表的阶段，因为这些被标记为写保护的页，本身可能已经分配了物理地址，对于使用PML方式跟踪的4k页同样如此。但是对于PML方式跟踪的大页，这里仍然会开启写保护，其目的是让缺页的慢速路径去处理缺页，使其重新分配一块4K的物理页，从而实现缺页在脏页日志开启情况下大页拆小页的逻辑。代码如下：
fast_page_fault
       /*
         * Currently, to simplify the code, write-protection can
         * be removed in the fast path only if the SPTE was
         * write-protected for dirty-logging or access tracking.
         */
        if (fault->write &&
            spte_can_locklessly_be_made_writable(spte)) {
            new_spte |= PT_WRITABLE_MASK;

            /*
             * Do not fix write-permission on the large spte.  Since
             * we only dirty the first page into the dirty-bitmap in
             * fast_pf_fix_direct_spte(), other pages are missed
             * if its slot has dirty logging enabled.
             *
             * Instead, we let the slow page fault path create a
             * normal spte to fix the access.
             *
             * See the comments in kvm_arch_commit_memory_region().
             */
            if (sp->role.level > PG_LEVEL_4K)
                break;
        }

获取脏页

流程图

在这里插入图片描述

具体过程

  • 获取脏页的流程，实际上也分为了两个步骤，第一步是拷贝dirty bitmap，第二步是清零脏页的标志。
  • kvm在早期的实现中，将这两步合在一起，在KVM_GET_DIRTY_LOG ioctl中实现了，由于第二步需要拿mmu_lock锁修改页表，并且不知道哪些页需要清零，因此会清零虚机所有页，而vcpu缺页退出guest态时，kvm处理缺页这个操作需要竞争mmu_lock，长时间持有mmu_lock会影响vcpu的内存访问性能，因此第二步的开销很大。
  • kvm在之后改进了脏页获取流程，引入了KVM_CAP_MANUAL_DIRTY_LOG_PROTECT特性，将脏页获取分成了两个ioctl命令字，KVM_GET_DIRTY_LOG和KVM_CLEAR_DIRTY_LOG，对应之前的两个步骤，第一个命令字只负责拷贝dirty bitmap，第二个命令只负责清零脏页，用户态获取到dirty bitmap之后，可以知道哪些页是脏的，因此KVM_CLEAR_DIRTY_LOG可以是虚机所有页集合的子集，在修改页表时效率会更高。
  • 下面分析具体代码：
kvm_vm_ioctl
    case KVM_GET_DIRTY_LOG: 
        kvm_vm_ioctl_get_dirty_log
            kvm_get_dirty_log_protect 	
                slots = __kvm_memslots(kvm, as_id);
                memslot = id_to_memslot(slots, id);
                /* x86架构使用PML机制获取脏页 */
                kvm_arch_sync_dirty_log
                    kvm_x86_ops.flush_log_dirty <=>   vmx_flush_log_dirty
                        /* kick每个vcpu让其vmexit，这样在vmexit的路径上可以更新pml buffer */
                        kvm_flush_pml_buffers
                            kvm_vcpu_kick
                /* dirty bitmap获取到之后，如果使能了KVM_CAP_MANUAL_DIRTY_LOG_PROTECT
                 * 特性，则跳过清零脏页的步骤，直接拷贝dirty bitmap */
              	if (kvm->manual_dirty_log_protect) {
              	    dirty_bitmap_buffer = dirty_bitmap;
              	} else {
              		/* 获取mmu_lock锁，修改页表，将对应位清零 */
					spin_lock(&kvm->mmu_lock);
						kvm_arch_mmu_enable_log_dirty_pt_masked(kvm, memslot,
													offset, mask);

					spin_unlock(&kvm->mmu_lock);
				}
                kvm_arch_flush_remote_tlbs_memslot
                /* 拷贝dirty bitmap到用户态 */
                copy_to_user(log->dirty_bitmap, dirty_bitmap_buffer, n)
  • 使用PML机制获取dirty bitmap时，只是将所有vcpu kick了一遍，具体的更新操作在vcpu从guest退出的路径上完成，简单分析下：
vmx_handle_exit
	if (enable_pml)
		vmx_flush_pml_buffer(vcpu);
			/* 遍历PML buffer的entry，将其更新到内存页所属的slot的dirty bitmap */
			for (; pml_idx < PML_ENTITY_NUM; pml_idx++) {
				gpa = pml_buf[pml_idx];
				kvm_vcpu_mark_page_dirty(vcpu, gpa >> PAGE_SHIFT);
					memslot = kvm_vcpu_gfn_to_memslot(vcpu, gfn);
					mark_page_dirty_in_slot(vcpu->kvm, memslot, gfn);
			}
  • 分析一下KVM_CAP_MANUAL_DIRTY_LOG_PROTECT特性下清零脏页的流程：
kvm_vm_ioctl
	case KVM_CLEAR_DIRTY_LOG:
		kvm_vm_ioctl_clear_dirty_log
			kvm_clear_dirty_log_protect
				/* 清零脏页前首先同步之前的脏页信息，使dirty bitmap处于最新状态 */
				kvm_arch_sync_dirty_log
				/* 将最新的脏页信息拷贝到用户态 */
				copy_from_user(dirty_bitmap_buffer, log->dirty_bitmap, n)
				/* 拿mmu_lock锁，准备清零脏页，也就是使能脏页日志 */
				spin_lock(&kvm->mmu_lock)
					kvm_arch_mmu_enable_log_dirty_pt_masked
				spin_unlock(&kvm->mmu_lock)

实验

  • 下面两个commit是基于dirty-bitmap机制脏页同步计算脏页速率的commit：
    https://github.com/qemu/qemu/commit/4998a37e4bf2bc47f76775e6e6a0cd50bacfb16a
    https://github.com/qemu/qemu/commit/826b8bc80cb191557a4ce7cf0e155b436d2d1afa
享乐主
关注
  • 11
    点赞
  • 踩
  • 17
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 9
    评论
专栏目录
KVM同步脏页位图到Qemu
拒绝996
04-08 1337
本篇文章基于qemu2.6.0，Linux3.10.0内核，x86体系结构。Qemu与KVM同步脏页位图主要分为Qemu与KVM两部分，我们先来看看Qemu部分。 Qemu部分 主要内容：Qemu将KVM返回的位图设置到自己的ram_list->dirty_memory->blocks中的map位图 address_space_sync_dirty_bitmap 主要调用了kvm_lo...
qemu内存迁移流程
Take Easy，Work Hard！
02-11 4956
本文主要是浅析qemu内存迁移流程，旨在理解迁移的整个环节。对于迁移内存最核心的脏页统计和速度计算，本文不会介绍。
Qemu(纯软实现)架构+KVM(基于kernel模拟硬件)原理(一)
最新发布
2301_76278747的博客
05-06 769
其实客户端开发的知识点就那么多，面试问来问去还是那么点东西。所以面试没有其他的诀窍，只看你对这些知识点准备的充分程度。so，出去面试时先看看自己复习到了哪个阶段就好。然而Android架构学习进阶是一条漫长而艰苦的道路，不能靠一时激情，更不是熬几天几夜就能学好的，必须养成平时努力学习的习惯。贵在坚持！《Android学习笔记总结+移动架构视频+大厂面试真题+项目实战源码》点击传送门，即可获取！天几夜就能学好的，必须养成平时努力学习的习惯。贵在坚持！
vm内核参数之内存脏页dirty_background_bytes和dirty_bytes
Blue summer的博客
08-13 4493
内存脏页dirty_background_bytes和dirty_bytes
内存虚拟化、内存复用、大页内存作用及详解
背锅神童的博客
12-02 1663
内存虚拟化、内存复用、大页内存
QEMU热迁移脏页同步
leiyanjie8995的博客
10-04 334
将KVMSlot->dirty_bmap同步到全局ram_list.dirty_memory[DIRTY_MEMORY_MIGRATION]中时，调用cpu_physical_memory_set_dirty_lebitmap()，代码如下。用这种方式，其实完全避开了GPA，我们的脏页都是通过RAM视图的地址来拷贝的。一个在ram_list.dirty_memory[DIRTY_MEMORY_MIGRATION]中，会将所有KVMSlot中的dirty_bmap同步到一个完整的dirty_memory中；
QEMU/KVM中断虚拟化源码解析
zhangtongjian12的博客
07-30 1195
中断从某个设备发出，送到IOAPIC。IOAPIC查PRT表找到对应的表项PTE，得知目标LAPIC。于是格式化出中断消息发送给LAPIC，通知置remote irr为1(level)。LAPIC收到中断消息后，根据向量号设置IRR后，进行中断选取，取得取得优先级最高的中断后，清除IRR，设置ISR，提交CPU进行中断处理，CPU处理完中断后，写LAPIC的EOI，通知IOAPIC清除remote irr(level且deassert)。
KVM虚拟化基本原理
02-24
X86操作系统是设计在直接运行在裸硬件设备上的，因此它们自动认为它们完全占有计算机硬件。x86架构提供四个特权级别给操作系统和应用程序来访问硬件。Ring是指CPU的运行级别，Ring0是最高级别，Ring1次之，Ring2更...
KVM架构与原理详解
01-27
KVM（Kernel-based Virtual Machine）是一种基于Linux内核的全虚拟化解决方案，它利用现代处理器提供的硬件虚拟化功能，如Intel的VT-x和AMD的V技术，为虚拟机提供了高效、安全的运行环境。KVM架构由两大部分组成：...
kvm虚拟化技术实现原理
01-27
虚拟化是云计算的基础。简单的说，虚拟化使得在一台物理的服务器上可以跑多台虚拟机，虚拟机共享物理机的 CPU、内存、IO硬件资源，但逻辑上虚拟机之间是相互隔离的。 物理机我们一般称为宿主机（Host），宿主机上面...
MySQL如何高效实现刷脏页，了解原理并学会配置
杨荧的CSDN博客
09-04 2150
在MySQL中，刷脏页是指将内存中已被修改的数据页写回到磁盘的过程。当MySQL执行数据更新操作时，会将修改后的数据先写入内存的缓存区，然后通过后台线程将这些脏页定期或根据一定策略写回到磁盘上的数据文件。
vm内核参数之内存脏页dirty_writeback_centisecs和dirty_expire_centisecs
Blue summer的博客
08-08 7859
注：本文分析基于3.10.0-693.el7内核版本，即CentOS 7.4 1、背景 在《BDI writeback脏页回写》中我们了解了BDI的一些基本结构以及初始化和一些触发路径，现在我们要更深入了解下脏页的writeback，一个是脏页什么时候会被处理，另一个是多久会触发脏页的writeback。 2、脏页形成路径 脏页由写操作引入，毕竟读操作不会引起数据的不一致性。不管应用层以什么方式将数据变脏，最终都会调用__mark_inode_dirty将inode标记dirty。而调用__mark_ino
Intel 系统级架构概述
m0_67403013的博客
05-17 450
文章目录 前言 一、IA-32 架构 和 Intel 64 架构 简述 二、系统级架构概述 2.1 Global and Local Descriptor Tables 2.1.1 32-bit modes 2.1.2 IA-32e Mode 2.2 System Segments, Segment Descriptors, and Gates 2.2.1 32-bit modes 2.2.2 IA-32e Mode 2.3 Task-State Segments and Task G
Linux的磁盘缓存和刷脏页
Linuxprobe18的博客
02-11 1307
由于在内存中保存脏页是不安全的，这也是防止数据丢失的一种保护措施。文件缓存是一项重要的性能改进，在大多数情况下，读取缓存是一个明显的胜利，与直接使用 RAM 的应用程序相比，这是平衡的。可以看到这个脏页配置也是一种艺术，需要根据实际情况下调整，注意vm.dirty_background_ratio配置的比例是缓存和空闲内存的比例，vm.dirty_ratio是总内存的比例。除了数据丢失的风险增加之外，如果缓存已满并需要转储，还面临长时间 I/O 暂停的风险，因为在大型 VM 上，缓存中会有大量数据。
x64 结构体系下的内存寻址
weixin_30629653的博客
08-16 359
欢迎转载，转载请注明出处：http://www.cnblogs.com/lanrenxinxin/p/4735027.html 在阅读NewBluePill源码的时候，看内存的那一块简直头疼，全是x64下的寻址，之前根本就没有接触过x64的内存寻址上的内容，看的晕头转向，决定先把x64下的寻址给弄明白了再回过头来看NewBluePill的源码，然后在网上一顿找，居然没有找到关于x64寻址的博客或...
intel manual: EPT Translatin Mechanism
asver的博客
09-04 270
继续接着理解并且翻译，这部分算是EPT翻译机制最核心部分了，的确有一些难理解，我看了好几遍也不敢说完全掌握所以翻译留着继续看，每次体会都不同，索性这次直接翻译过来放这了，方便自己后面再来看。如果下面哪儿有错误欢迎留言区指出，谢谢。 EPT转换机制仅使用每个客户物理地址的Bit 47：0. 它使用4的页表遍历长度，也就是说访问最多4个EPT分页结构项去翻译一个客户机物理地...
kvm迁移中脏页位图机制源码分析
Mr.Buffoon
02-09 3699
我们都知道KVM支持在线迁移，而其在线迁移是通过内存预拷贝（迭代拷贝）机制来实现的。预拷贝的一个思想就是不断记录脏页并每一轮迭代拷贝脏页面，直至达到一定的条件就退出迭代，进行最后的停机拷贝。关于预拷贝的原理我之前有博客进行了简单分析，在这里就不重复说明了。那这篇文章主要是就其中的脏页记录机制从源码层面进行分析。         这里分析的代码版本是kvm3.10.1和qemu 1.5.3。我们直
KVM地址翻译流程及EPT页表的建立过程
u013593323的博客
07-26 804
原文： KVM地址翻译流程及EPT页表的建立过程 引：本文多处使用以下术语，声明如下： GVA，Guest Virtual Address客户机进程的线性地址 GPA，Guest Physical Address客户机的物理地址 HVA，Host Virtual Address宿主机进程的线性地址 HPA，Host Physical Address宿主机的物理地址 在KVM
My Gentoo kernel config on MacbookPro early 2015 13' Retina
热门推荐
王旻宇
12-20 1万+
# # Automatically generated file; DO NOT EDIT. # Linux/x86 4.8.12-gentoo Kernel Configuration # # # Gentoo Linux # CONFIG_GENTOO_LINUX=y CONFIG_GENTOO_LINUX_UDEV=y CONFIG_GENTOO_LINUX_PORTAGE=y # #
kvm安装管理理论原理
04-29
KVM（Kernel-based Virtual Machine）是一种全虚拟化的解决方案，它可以在基于Linux内核的操作系统上实现虚拟化。其理论原理是通过在Linux内核上添加虚拟化模块，将物理服务器划分为多个虚拟机（VM），每台虚拟机都可以独立运行不同的操作系统。 在安装KVM之前，需要确保物理服务器的CPU支持虚拟化技术，并已在BIOS中启用虚拟化选项。在安装时，需要先安装KVM模块和虚拟化管理工具，如libvirt和virt-manager。 安装好KVM后，可以利用virt-manager进行虚拟机的管理。在创建虚拟机时，需要指定虚拟机的CPU、内存、磁盘等资源，还可以选择虚拟机的操作系统和网络配置。创建完成后，可以通过virt-manager进行虚拟机的启动、关闭、管理和监控。 KVM的管理原理是将物理服务器的资源虚拟化为多个虚拟机的资源，通过虚拟化管理工具进行管理和监控，实现资源共享和高效利用，从而减少硬件成本和提高IT资源利用率。此外，KVM还支持虚拟机的迁移和快照功能，增强了虚拟化管理的灵活性和可靠性。
评论 9
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

享乐主

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值