关闭

KVM vCPU创建过程

701人阅读 评论(0) 收藏 举报
分类:
1、基本原理
如之前的文章分析,在KVM虚拟化环境中,
硬件虚拟化使用VCPU(Virtual CPU)描述符来描述虚拟CPU,VCPU描述符与OS中进程描述符类似,本质是一个结构体kvm_vcpu,其中包含如下信息:

VCPU标识信息,如VCPUID号,VCPU属于哪个Guest等。

虚拟寄存器信息,在VT-x的环境中,这些信息包含在VMCS中。

VCPU状态信息,标识白VCPU当前所处的状态(睡眠、运行等),主要供调度器使用。

额外的寄存器/部件信息,主要指未包含在VMCS中的寄存器或CPU部件,比如:浮点寄存器和虚拟的LAPIC等。

其他信息:用户VMM进行优化或存储额外信息的字段,如:存放该VCPU私有数据的指针。

VMM创建虚拟机时,首先要为虚拟机创建VCPU,整个虚拟机的运行实际上可以看做VMM调度不同的VCPU运行
虚拟机的VCPU通过ioctl VM指令
KVM_CREATE_VCPU实现,实质为创建kvm_vcpu结构体,并进行相关初始化。本文简单分析VCPU创建过程,qemu-kvm用户态实现部分暂不包括。

2、基本流程
kvm_vm_ioctl() // kvm ioctl vm指令入口
    kvm_vm_ioctl_create_vcpu() // 为虚拟机创建VCPU的ioctl调用的入口函数
        kvm_arch_vcpu_create() // 创建vcpu结构,架构相关,对于intel x86来说,最终调用vmx_create_vcpu
        kvm_arch_vcpu_setup() // 设置VCPU结构
        create_vcpu_fd() // 为新创建的vcpu创建对应的fd,以便于后续通过该fd进行ioctl操作
        kvm_arch_vcpu_postcreate() // 架构相关的善后工作,比如再次调用vcpu_load,以及tsc相关处理

3、代码分析
kvm_vcpu结构:

点击(此处)折叠或打开

  1. struct kvm_vcpu {
  2.     // 指向此vcpu所属的虚拟机对应的kvm结构
  3.     struct kvm *kvm;
  4. #ifdef CONFIG_PREEMPT_NOTIFIERS
  5.     struct preempt_notifier preempt_notifier;
  6. #endif
  7.     int cpu;
  8.     // vcpu id,用于唯一标识该vcpu
  9.     int vcpu_id;
  10.     int srcu_idx;
  11.     int mode;
  12.     unsigned long requests;
  13.     unsigned long guest_debug;

  14.     struct mutex mutex;
  15.     // 执行虚拟机对应的kvm_run结构
  16.     struct kvm_run *run;

  17.     int fpu_active;
  18.     int guest_fpu_loaded, guest_xcr0_loaded;
  19.     wait_queue_head_t wq;
  20.     struct pid *pid;
  21.     int sigset_active;
  22.     sigset_t sigset;
  23.     // vcpu状态信息
  24.     struct kvm_vcpu_stat stat;
  25.     // mmio相关部分
  26. #ifdef CONFIG_HAS_IOMEM
  27.     int mmio_needed;
  28.     int mmio_read_completed;
  29.     int mmio_is_write;
  30.     int mmio_cur_fragment;
  31.     int mmio_nr_fragments;
  32.     struct kvm_mmio_fragment mmio_fragments[KVM_MAX_MMIO_FRAGMENTS];
  33. #endif

  34. #ifdef CONFIG_KVM_ASYNC_PF
  35.     struct {
  36.         u32 queued;
  37.         struct list_head queue;
  38.         struct list_head done;
  39.         spinlock_t lock;
  40.     } async_pf;
  41. #endif

  42. #ifdef CONFIG_HAVE_KVM_CPU_RELAX_INTERCEPT
  43.     /*
  44.      * Cpu relax intercept or pause loop exit optimization
  45.      * in_spin_loop: set when a vcpu does a pause loop exit
  46.      * or cpu relax intercepted.
  47.      * dy_eligible: indicates whether vcpu is eligible for directed yield.
  48.      */
  49.     struct {
  50.         bool in_spin_loop;
  51.         bool dy_eligible;
  52.     } spin_loop;
  53. #endif
  54.     bool preempted;
  55.     // 架构相关部分,包括的寄存器、apic、mmu相关等架构相关的内容
  56.     struct kvm_vcpu_arch arch;
  57. };

kvm_vm_ioctl()-->kvm_vm_ioctl_create_vcpu():

点击(此处)折叠或打开

  1. /*
  2.   * 为虚拟机创建VCPU的ioctl调用的入口函数,本质为创建vcpu结构并初始化,并将其填入kvm结构中。
  3.   */
  4. static int kvm_vm_ioctl_create_vcpu(struct kvm *kvm, u32 id)
  5. {
  6.     int r;
  7.     struct kvm_vcpu *vcpu, *v;

  8.     // 创建vcpu结构,架构相关,对于intel x86来说,最终调用vmx_create_vcpu
  9.     vcpu = kvm_arch_vcpu_create(kvm, id);
  10.     if (IS_ERR(vcpu))
  11.         return PTR_ERR(vcpu);

  12.     preempt_notifier_init(&vcpu->preempt_notifier, &kvm_preempt_ops);

  13.     /* 
  14.      * 设置vcpu结构,主要调用kvm_x86_ops->vcpu_load,KVM虚拟机VCPU数据结构载入物理CPU,
  15.      * 并进行虚拟机mmu相关设置,比如进行ept页表的相关初始工作或影子页表
  16.      * 相关的设置。
  17.      */
  18.     r = kvm_arch_vcpu_setup(vcpu);
  19.     if (r)
  20.         goto vcpu_destroy;

  21.     mutex_lock(&kvm->lock);
  22.     if (!kvm_vcpu_compatible(vcpu)) {
  23.         r = -EINVAL;
  24.         goto unlock_vcpu_destroy;
  25.     }
  26.     if (atomic_read(&kvm->online_vcpus) == KVM_MAX_VCPUS) {
  27.         r = -EINVAL;
  28.         goto unlock_vcpu_destroy;
  29.     }

  30.     // 检测分配的vcpu id是否已经存在
  31.     kvm_for_each_vcpu(r, v, kvm)
  32.         if (v->vcpu_id == id) {
  33.             r = -EEXIST;
  34.             goto unlock_vcpu_destroy;
  35.         }
  36.     /*
  37.      * kvm->vcpus[]数组包括该vm的所有vcpu,定义为KVM_MAX_VCPUS大小的数组。
  38.      * 在kvm结构初始化时,其中所有成员都初始化为0,在vcpu还没有
  39.      * 分配之前,如果不为0,那就是bug了。
  40.      */
  41.     BUG_ON(kvm->vcpus[atomic_read(&kvm->online_vcpus)]);

  42.     /* Now it's all set up, let userspace reach it */
  43.     // 增加kvm的引用计数
  44.     kvm_get_kvm(kvm);
  45.     // 为新创建的vcpu创建对应的fd,以便于后续通过该fd进行ioctl操作
  46.     r = create_vcpu_fd(vcpu);
  47.     if (< 0) {
  48.         kvm_put_kvm(kvm);
  49.         goto unlock_vcpu_destroy;
  50.     }

  51.     // 将新创建的vcpu填入kvm->vcpus[]数组中
  52.     kvm->vcpus[atomic_read(&kvm->online_vcpus)] = vcpu;
  53.     // 内存屏障,防止同时访问kvm结构时乱序
  54.     smp_wmb();
  55.     // 增加online vcpu的数量
  56.     atomic_inc(&kvm->online_vcpus);

  57.     mutex_unlock(&kvm->lock);
  58.     // 架构相关的善后工作,比如再次调用vcpu_load,以及tsc相关处理
  59.     kvm_arch_vcpu_postcreate(vcpu);
  60.     return r;

  61. unlock_vcpu_destroy:
  62.     mutex_unlock(&kvm->lock);
  63. vcpu_destroy:
  64.     kvm_arch_vcpu_destroy(vcpu);
  65.     return r;
  66. }

kvm_vm_ioctl()-->kvm_vm_ioctl_create_vcpu()-->kvm_arch_vcpu_create()-->kvm_x86_ops->vcpu_create()-->vmx_create_vcpu():

点击(此处)折叠或打开

  1. /*
  2.   * Intel x86架构中创建并初始化VCPU中架构相关部分
  3.   */
  4. static struct kvm_vcpu *vmx_create_vcpu(struct kvm *kvm, unsigned int id)
  5. {
  6.     int err;
  7.     // 从slab中,分配vcpu_vmx结构体,其中包括VMX技术硬件相关信息。
  8.     struct vcpu_vmx *vmx = kmem_cache_zalloc(kvm_vcpu_cache, GFP_KERNEL);
  9.     int cpu;

  10.     if (!vmx)
  11.         return ERR_PTR(-ENOMEM);
  12.     // 分配vpid,vpid为VCPU的唯一标识。
  13.     allocate_vpid(vmx);
  14.     // 初始化vmx中的vcpu结构
  15.     err = kvm_vcpu_init(&vmx->vcpu, kvm, id);
  16.     if (err)
  17.         goto free_vcpu;
  18.     // 分配Guest的msr寄存器保存区
  19.     vmx->guest_msrs = kmalloc(PAGE_SIZE, GFP_KERNEL);
  20.     err = -ENOMEM;
  21.     if (!vmx->guest_msrs) {
  22.         goto uninit_vcpu;
  23.     }

  24.     vmx->loaded_vmcs = &vmx->vmcs01;
  25.     /* 
  26.      * 分配VMCS结构,该结构用于保存虚拟机和虚拟机监控器的系统编程接口状态。
  27.      * 当执行VM exit和VM entry操作时,VT-x自动根据VMCS中的内容完成虚拟机和虚拟机监
  28.      * 控器间的系统编程接口状态切换。
  29.      */
  30.     vmx->loaded_vmcs->vmcs = alloc_vmcs();
  31.     if (!vmx->loaded_vmcs->vmcs)
  32.         goto free_msrs;
  33.     // 是否设置了vmm_exclusive
  34.     if (!vmm_exclusive)
  35.         // VMXON指令用于开启VMX模式
  36.         kvm_cpu_vmxon(__pa(per_cpu(vmxarea, raw_smp_processor_id())));
  37.     loaded_vmcs_init(vmx->loaded_vmcs);
  38.     if (!vmm_exclusive)
  39.         // VMXON指令用于关闭VMX模式
  40.         kvm_cpu_vmxoff();
  41.     // 当前cpu
  42.     cpu = get_cpu();
  43.     // KVM虚拟机VCPU数据结构载入物理CPU
  44.     vmx_vcpu_load(&vmx->vcpu, cpu);
  45.     vmx->vcpu.cpu = cpu;
  46.     // 设置vmx相关信息
  47.     err = vmx_vcpu_setup(vmx);
  48.     vmx_vcpu_put(&vmx->vcpu);
  49.     put_cpu();
  50.     if (err)
  51.         goto free_vmcs;
  52.     if (vm_need_virtualize_apic_accesses(kvm)) {
  53.         err = alloc_apic_access_page(kvm);
  54.         if (err)
  55.             goto free_vmcs;
  56.     }
  57.     // 是否支持EPT
  58.     if (enable_ept) {
  59.         if (!kvm->arch.ept_identity_map_addr)
  60.             kvm->arch.ept_identity_map_addr =
  61.                 VMX_EPT_IDENTITY_PAGETABLE_ADDR;
  62.         err = -ENOMEM;
  63.         // 分配identity页表
  64.         if (alloc_identity_pagetable(kvm) != 0)
  65.             goto free_vmcs;
  66.         // 初始化identity页表
  67.         if (!init_rmode_identity_map(kvm))
  68.             goto free_vmcs;
  69.     }

  70.     vmx->nested.current_vmptr = -1ull;
  71.     vmx->nested.current_vmcs12 = NULL;

  72.     return &vmx->vcpu;

  73. free_vmcs:
  74.     free_loaded_vmcs(vmx->loaded_vmcs);
  75. free_msrs:
  76.     kfree(vmx->guest_msrs);
  77. uninit_vcpu:
  78.     kvm_vcpu_uninit(&vmx->vcpu);
  79. free_vcpu:
  80.     free_vpid(vmx);
  81.     kmem_cache_free(kvm_vcpu_cache, vmx);
  82.     return ERR_PTR(err);
  83. }
kvm_vm_ioctl()-->kvm_vm_ioctl_create_vcpu()-->kvm_arch_vcpu_setup():

点击(此处)折叠或打开

  1. int kvm_arch_vcpu_setup(struct kvm_vcpu *vcpu)
  2. {
  3.     int r;

  4.     vcpu->arch.mtrr_state.have_fixed = 1;
  5.     // KVM虚拟机VCPU数据结构载入物理CPU
  6.     r = vcpu_load(vcpu);
  7.     if (r)
  8.         return r;
  9.     // vcpu重置,包括相关寄存器、时钟、pmu等,最终调用vmx_vcpu_reset
  10.     kvm_vcpu_reset(vcpu);
  11.     /*
  12.      * 进行虚拟机mmu相关设置,比如进行ept页表的相关初始工作或影子页表
  13.      * 相关的设置。
  14.      */
  15.     r = kvm_mmu_setup(vcpu);
  16.     vcpu_put(vcpu);

  17.     return r;
  18. }
kvm_vm_ioctl()-->kvm_vm_ioctl_create_vcpu()-->kvm_arch_vcpu_setup()-->kvm_mmu_setup()-->init_kvm_mmu():

点击(此处)折叠或打开

  1. static int init_kvm_mmu(struct kvm_vcpu *vcpu)
  2. {
  3.     // NPT(Nested page table,AMD x86硬件提供的内存虚拟化技术,相当于Intel中的EPT技术)相关初始化
  4.     if (mmu_is_nested(vcpu))
  5.         return init_kvm_nested_mmu(vcpu);
  6.     /* 
  7.      * EPT(Extended page table,Intel x86硬件提供的内存虚拟化技术)相关初始化
  8.      * 主要是设置一些函数指针,其中比较重要的如缺页异常处理函数
  9.      */
  10.     else if (tdp_enabled)
  11.         return init_kvm_tdp_mmu(vcpu);
  12.     // 影子页表(软件实现内存虚拟化技术)相关初始化
  13.     else
  14.         return init_kvm_softmmu(vcpu);
  15. }
0
0

查看评论
* 以上用户言论只代表其个人观点,不代表CSDN网站的观点或立场
    个人资料
    • 访问:143981次
    • 积分:1817
    • 等级:
    • 排名:千里之外
    • 原创:52篇
    • 转载:30篇
    • 译文:0篇
    • 评论:8条
    最新评论