qemu kvm 内存虚拟化

一、qemu中物理内存的注册
cpu_register_physical_memory调用cpu_notify_set_memory
cpu_notify_set_memory调用kvm_client_set_memory
kvm_client_set_memory调用kvm_set_phys_mem
kvm_set_phys_mem调用kvm_set_user_memory_region
kvm_set_user_memory_region调用的kvm_vm_ioctl进入内核
内核中会调用kvm_vm_ioctl_set_memory_region最终调用到__kvm_set_memory_region函数
在__kvm_set_memory_region函数中有如下代码：
738 ____slots->memslots[mem->slot] = new;
739 ____old_memslots = kvm->memslots;
740 ____rcu_assign_pointer(kvm->memslots, slots);
741 ____synchronize_srcu_expedited(&kvm->srcu);
因此函数__kvm_set_memory_region本质是创建并填充了一个临时kvm_memslots结构，并把其赋值给kvm->memslots（全局的）。

二、处理用户态虚拟的地址（主要考虑tlb不能命中的情况）
1、查物理tlb如果不能命中会调用host中do_kvm_tlbmiss
2、do_kvm_tlbmiss会先判断地址是IO地址还是访存的地址，如果是访存地址，会进一步查guest tlb表，如果查guest tlb还没有命中，就会把guest tlb miss异常注入到guest系统中，guest kernel会根据页表来填充guest tlb，当guest调用TLBWI特权指令时，会再次陷入host中，调用do_kvm_cpu异常处理
3、在do_kvm_cpu中模拟TLBWI指令，先填充guest tlb 表项，在调用kvmmips_update_shadow_tlb来更新物理tlb（shadow tlb）
4、在kvmmips_update_shadow_tlb中，通过gfn_to_page和page_to_phys两个函数将gpa转化成hpa,再将hpa填充到物理tlb中
5、gfn_to_page函数（我想讲的重点）这个函数会调用到gfn_to_hva
6、gfn_to_hva调用gfn_to_memslot和gfn_to_hva_memslot
gfn_to_memslot代码如下：
859 struct kvm_memory_slot *gfn_to_memslot(struct kvm *kvm, gfn_t gfn)
860 {
861 ____int i;
862 ____struct kvm_memslots *slots = kvm_memslots(kvm);
863
864 ____for (i = 0; i < slots->nmemslots; ++i) {
865 ________struct kvm_memory_slot *memslot = &slots->memslots[i];
866
867 ________if (gfn >= memslot->base_gfn
868 ________ && gfn < memslot->base_gfn + memslot->npages)
869 ____________return memslot;
870 ____}
871 ____return NULL;
872 }
代码中首先调用kvm_memslots获得slots,kvm_memslots代码如下：
255 static inline struct kvm_memslots *kvm_memslots(struct kvm *kvm)
256 {
257 ____return rcu_dereference_check(kvm->memslots,
258 ____________srcu_read_lock_held(&kvm->srcu)
259 ____________|| lockdep_is_held(&kvm->slots_lock));
260 }
本质是return kvm->memsolts。
gfn_to_hva_memslot代码如下：
935 static unsigned long gfn_to_hva_memslot(struct kvm_memory_slot *slot, gfn_t gfn)
936 {
937 ____return slot->userspace_addr + (gfn - slot->base_gfn) * PAGE_SIZE;
938 }
由此看来gpa到hva的关键是slot->userspace_addr，其在qemu中kvm_set_user_memory_region中通过qemu_safe_ram_ptr函数赋值。
qemu_safe_ram_ptr代码如下：
2945 void *qemu_safe_ram_ptr(ram_addr_t addr)
2946 {
2947 RAMBlock *block;
2948
2949 QLIST_FOREACH(block, &ram_list.blocks, next) {
2950 if (addr - block->offset < block->length) {
2951 return block->host + (addr - block->offset);
2952 }
2953 }
2954
2955 fprintf(stderr, "Bad ram offset %" PRIx64 "\n", (uint64_t)addr);
2956 abort();
2957
2958 return NULL;
2959 }
因此得找到block->host,在qemu的qemu_ram_alloc_from_ptr函数中赋值，在该函数中有这么一句话new_block->host = qemu_vmalloc(size);从host系统中分配一个hva地址。

结论：
综合以上分析可以看出，在qemu中调用qemu_ram_alloc主要是分配RAMBlock结构，并将其插入ram_list.blocks链表，它的本质上分配了一个hva地址，把它放到RAMBlock结构host域；调用cpu_register_physical_memory主要填充struct kvm结构的slots域，它的本质是将一个gha地址与hva地址对应起来，将hva放在slot->userspace_addr中，将gha放在slot->base_gfn中。quma通过上面两个函数就把一段gha的空间映射成一段hva空间。

三、console显示过程（基于cirrusfb)
先看一个函数栈：
2 [<4000000080451164>] cirrusfb_imageblit+0xa0/0x284
3 [<400000008043ce5c>] bit_putcs+0x3dc/0x48c
4 [<400000008046eb8c>] do_update_region+0x148/0x1a4
5 [<40000000804705f4>] update_region+0xb4/0xdc
6 [<40000000804393bc>] fbcon_switch+0x5b8/0x61c
7 [<4000000080470ef4>] redraw_screen+0x188/0x2a8
8 [<4000000080472c84>] take_over_console+0x368/0x3cc
9 [<4000000080436030>] fbcon_takeover+0x108/0x188
10 [<4000000080160204>] notifier_call_chain.isra.1+0x40/0x90
11 [<4000000080160540>] __blocking_notifier_call_chain+0x48/0x68
12 [<400000008042ee8c>] register_framebuffer+0x2b0/0x2dc
13 [<400000008010f4b4>] cirrusfb_pci_register+0x608/0x6c4
14 [<400000008042650c>] pci_device_probe+0x60/0xa0
15 [<4000000080489008>] driver_probe_device+0x108/0x1f0
16 [<400000008048915c>] __driver_attach+0x6c/0xa4
17 [<40000000804879f8>] bus_for_each_dev+0x54/0xa0
18 [<40000000804881ec>] bus_add_driver+0xf0/0x310
19 [<4000000080489838>] driver_register+0xe0/0x194
20 [<4000000080426214>] __pci_register_driver+0x5c/0x11c
21 [<4000000080886710>] cirrusfb_init+0x164/0x198
22 [<4000000080870c18>] do_one_initcall+0xbc/0x204
23 [<4000000080870ecc>] kernel_init+0x16c/0x244
24 [<40000000801189e8>] kernel_thread_helper+0x10/0x18
从函数栈可以看出，register_framebuffer会触发一个FB_EVENT_FB_REGISTERED事件，调用函数fbcon_fb_registered，该函数中调用fbcon_takeover来接管操作console的函数，从此之后console的操作，就会调用下面函数
3281 static const struct consw fb_con = {
3282 ____.owner__________= THIS_MODULE,
3283 ____.con_startup _______= fbcon_startup,
3284 ____.con_init ______= fbcon_init,
3285 ____.con_deinit ________= fbcon_deinit,
3286 ____.con_clear _____= fbcon_clear,
3287 ____.con_putc ______= fbcon_putc,
3288 ____.con_putcs _____= fbcon_putcs,
3289 ____.con_cursor ________= fbcon_cursor,
3290 ____.con_scroll ________= fbcon_scroll,
3291 ____.con_bmove _____= fbcon_bmove,
3292 ____.con_switch ________= fbcon_switch,
3293 ____.con_blank _____= fbcon_blank,
3294 ____.con_font_set ______= fbcon_set_font,
3295 ____.con_font_get ______= fbcon_get_font,
3296 ____.con_font_default___= fbcon_set_def_font,
3297 ____.con_font_copy _____= fbcon_copy_font,
3298 ____.con_set_palette ___= fbcon_set_palette,
3299 ____.con_scrolldelta ___= fbcon_scrolldelta,
3300 ____.con_set_origin ____= fbcon_set_origin,
3301 ____.con_invert_region _= fbcon_invert_region,
3302 ____.con_screen_pos ____= fbcon_screen_pos,
3303 ____.con_getxy _____= fbcon_getxy,
3304 ____.con_resize = fbcon_resize,
3305 ____.con_debug_enter____= fbcon_debug_enter,
3306 ____.con_debug_leave____= fbcon_debug_leave,
3307 };
我们不防以fbcon_putcs函数为例，进一步分析，其代码如下：
1256 static void fbcon_putcs(struct vc_data *vc, const unsigned short *s,
1257 ____________int count, int ypos, int xpos)
1258 {
1259 ____struct fb_info *info = registered_fb[con2fb_map[vc->vc_num]];
1260 ____struct display *p = &fb_display[vc->vc_num];
1261 ____struct fbcon_ops *ops = info->fbcon_par;
1262
1263 ____if (!fbcon_is_inactive(vc, info))
1264 ________ops->putcs(vc, info, s, count, real_y(p, ypos), xpos,
1265 ____________ get_color(vc, info, scr_readw(s), 1),
1266 ____________ get_color(vc, info, scr_readw(s), 0));
1267 }
它需要调用info->fbcon_par->putcs(info 的数据结构是struct fb_info),info->fbcon_par初始化在函数是fbcon_set_bitops,函数如下：
404 void fbcon_set_bitops(struct fbcon_ops *ops)
405 {
406 ____ops->bmove = bit_bmove;
407 ____ops->clear = bit_clear;
408 ____ops->putcs = bit_putcs;
409 ____ops->clear_margins = bit_clear_margins;
410 ____ops->cursor = bit_cursor;
411 ____ops->update_start = bit_update_start;
412 ____ops->rotate_font = NULL;
413
414 ____if (ops->rotate)
415 ________fbcon_set_rotate(ops);
416 }
因此会继续调用bit_putcs,其最终会调用到info->fbops->fb_imageblit(info, image);(info 的数据结构是struct fb_info),info->fbops的初始化函数是cirrusfb_set_fbinfo中，该函数中有info->fbops = &cirrusfb_ops;一句话，cirrusfb_ops结构如下：
1973 static struct fb_ops cirrusfb_ops = {
1974 ____.owner______= THIS_MODULE,
1975 ____.fb_open____= cirrusfb_open,
1976 ____.fb_release_= cirrusfb_release,
1977 ____.fb_setcolreg___= cirrusfb_setcolreg,
1978 ____.fb_check_var___= cirrusfb_check_var,
1979 ____.fb_set_par_= cirrusfb_set_par,
1980 ____.fb_pan_display = cirrusfb_pan_display,
1981 ____.fb_blank___= cirrusfb_blank,
1982 ____.fb_fillrect____= cirrusfb_fillrect,
1983 ____.fb_copyarea____= cirrusfb_copyarea,
1984 ____.fb_sync____= cirrusfb_sync,
1985 ____.fb_imageblit___= cirrusfb_imageblit,
1986 };
因此最终会调用到cirrusfb_imageblit函数。

上面一个过程就是一个console写操作，最终调到cirrusfb驱动中cirrusfb_imageblit过程。

四、xserver 显示（基于fbmem）

xserver 下普通的显卡驱动，通常会直接操作寄存器，具体操作就是，先mmap（/dev/mem)io空间的基址，再通过基址加偏移的方式，操作寄存器。
但fbmem是个例外，其不用操作既存器，而是通过ioctl（/dev/fb0)，把这些操作丢给内核去做。
但是两者在都没有加速的情况下，framebuffer操作方式是相同的，都是将framebuffer区域通过mmap映射到用户态，然后交给xorg中其他代码处理映射后地址。

五、结论

qemu中cirrus_linear_writeb函数在console下调用很多次而在Xserver不被调用原因如下：

首先在xserver下，我们将framebuffer区域(0x14000000开始的一段区域）mmap成了guest虚拟地址(通过调用/dev/fb0 mmap函数），也就说在xserver所有frambuffer的操作，都是通过这个gva.
其次qema中，在函数map_linear_vram中，通过cpu_register_physical_memory(s->vga.map_addr, s->vga.map_end - s->vga.map_addr, s->vga.vram_offset);（将0x14000000这个gpa和一个hva建立起了联系）
因此在xserver下整个framebuffer操作全部成了内存操作，不是IO操作，过程是gva->gpa->hva->hpa,不会回到qemu中，当然也就不可能访问qemu中的cirrus_linear_writeb函数了。
再次在console下，访console操作最终会调用到cirrusfb_imageblit函数，在cirrusfb_imageblit中有这么一句话memcpy(info->screen_base, image->data, size);其中info->screen_base就是0x14000000remap后（IO空间），因此会回到qemu中，调用cirrus_linear_writeb。
最后，为什么这么关注cirrus_linear_writeb函数，因为在qemu中操作framebuffer表现在往s->vga.vram_ptr中写或从s->vga.vram_ptr读，（s->vga.vram_ptr就是我们说的hva），通过2242 s->vram_offset = qemu_ram_alloc(NULL, "vga.vram", vga_ram_size);
2243 s->vram_ptr = qemu_get_ram_ptr(s->vram_offset);得到。只有在cirrus_linear_writeb函数中，才在往s->vga.vram_ptr这个hva写后，通过cpu_physical_memory_set_dirty将这个区域标记，而在我们更新屏幕是，dirty的区域是我们更新的判断条件。