kubernetes安装kubevirt提供虚拟机功能（一）

闫利朋

已于 2022-08-29 10:02:03 修改

阅读量5.3k

点赞数 9

分类专栏：云技术边缘计算文章标签： kubernetes 云原生

于 2022-04-27 20:26:12 首次发布

本文链接：https://blog.csdn.net/BY_xiaopeng/article/details/124458361

版权

云技术同时被 2 个专栏收录

19 篇文章 9 订阅

订阅专栏

边缘计算

3 篇文章 0 订阅

订阅专栏

1.介绍：

Kubevirt 是 Redhat 开源一套以容器方式运行虚拟机的项目，通过 kubernetes 云原生来管理虚拟机生命周期。

KubeVirt是一个kubernetes插件,在调度容器之余也可以调度传统的虚拟机。它通过使用自定义资源（CRD）和其它 Kubernetes 功能来无缝扩展现有的集群，以提供一组可用于管理虚拟机的虚拟化的API。

2.kubevirt架构设计：

kubevirt主要实现了下面几种资源，以实现对虚拟机的管理：

VirtualMachineInstance(VMI)：类似于kubernetes Pod，是管理虚拟机的最小资源。一个VirtualMachineInstance对象即表示一台正在运行的虚拟机实例，包含一个虚拟机所需要的各种配置。
VirtualMachine(VM)：为集群内的VirtualMachineInstance提供管理功能，例如开机、关机、重启虚拟机，确保虚拟机实例的启动状态，与虚拟机实例是1:1的关系，类似与spec.replica为1的StatefulSet。
VirtualMachineInstanceReplicaSet：类似ReplicaSet，可以启动指定数量的VirtualMachineInstance，并且保证指定数量的VirtualMachineInstance运行，可以配置HPA。

Kubevirt的整体架构：

简化版：

3.磁盘和卷

虚拟机镜像（磁盘）是启动虚拟机必不可少的部分，KubeVirt 中提供多种方式的虚拟机磁盘，虚拟机镜像（磁盘）使用方式非常灵活。这里列出几种比较常用的：

PersistentVolumeClaim : 使用 PVC 做为后端存储，适用于数据持久化，即在虚拟机重启或者重建后数据依旧存在。使用的 PV 类型可以是 block 和 filesystem，使用 filesystem 时，会使用 PVC 上的 /disk.img，格式为 RAW 格式的文件作为硬盘。block 模式时，使用 block volume 直接作为原始块设备提供给虚拟机。
ephemeral : 基于后端存储在本地做一个写时复制（COW）镜像层，所有的写入都在本地存储的镜像中，VM 实例停止时写入层就被删除，后端存储上的镜像不变化。
containerDisk : 基于 scratch 构建的一个 docker image，镜像中包含虚拟机启动所需要的虚拟机镜像，可以将该 docker image push 到 registry，使用时从 registry 拉取镜像，直接使用 containerDisk 作为 VMI 磁盘，数据是无法持久化的。
hostDisk : 使用节点上的磁盘镜像，类似于 hostpath，也可以在初始化时创建空的镜像。
dataVolume : 提供在虚拟机启动流程中自动将虚拟机磁盘导入 pvc 的功能，在不使用 DataVolume 的情况下，用户必须先准备带有磁盘映像的 pvc，然后再将其分配给 VM 或 VMI。dataVolume 拉取镜像的来源可以时 http，对象存储，另一块 PVC 等。

4.部署kubevirt

安装前提已经安装好kubernetes集群。如果需要安装kubernetes请参考：kubernetes单节点安装_闫利朋的博客-CSDN博客

4.1 安装libvirt和qemu软件包：

# yum install -y qemu-kvm libvirt virt-install bridge-utils

查看节点是否支持kvm硬件辅助虚拟化：

# virt-host-validate qemu

QEMU: Checking for hardware virtualization                                 : PASS
  QEMU: Checking if device /dev/kvm exists                                   : PASS
  QEMU: Checking if device /dev/kvm is accessible                            : PASS
  QEMU: Checking if device /dev/vhost-net exists                             : PASS
  QEMU: Checking if device /dev/net/tun exists                               : PASS
  QEMU: Checking for cgroup 'memory' controller support                      : PASS
  QEMU: Checking for cgroup 'memory' controller mount-point                  : PASS
  QEMU: Checking for cgroup 'cpu' controller support                         : PASS
  QEMU: Checking for cgroup 'cpu' controller mount-point                     : PASS
  QEMU: Checking for cgroup 'cpuacct' controller support                     : PASS
  QEMU: Checking for cgroup 'cpuacct' controller mount-point                 : PASS
  QEMU: Checking for cgroup 'cpuset' controller support                      : PASS
  QEMU: Checking for cgroup 'cpuset' controller mount-point                  : PASS
  QEMU: Checking for cgroup 'devices' controller support                     : PASS
  QEMU: Checking for cgroup 'devices' controller mount-point                 : PASS
  QEMU: Checking for cgroup 'blkio' controller support                       : PASS
  QEMU: Checking for cgroup 'blkio' controller mount-point                   : PASS
  QEMU: Checking for device assignment IOMMU support                         : PASS
  QEMU: Checking if IOMMU is enabled by kernel                               : WARN (IOMMU appears to be disabled in kernel. Add intel_iommu=on to kernel cmdline arguments)

修改物理内核参数，解决WARN问题：

# vim /boot/efi/EFI/centos/grub.cfg

#添加 intel_iommu=on

# reboot

方法二：

# vim /etc/default/grub

添加：

GRUB_CMDLINE_LINUX="crashkernel=auto rd.lvm.lv=centos/root rd.lvm.lv=centos/swap rhgb quiet intel_iommu=on"

# grub2-mkconfig -o /boot/grub2/grub.cfg

验证：

# dmesg | grep -e DMAR | grep -i iommu
[ 0.000000] DMAR: IOMMU enabled
# virt-host-validate qemu
QEMU: Checking for hardware virtualization : PASS
QEMU: Checking if device /dev/kvm exists : PASS
QEMU: Checking if device /dev/kvm is accessible : PASS
QEMU: Checking if device /dev/vhost-net exists : PASS
QEMU: Checking if device /dev/net/tun exists : PASS
QEMU: Checking for cgroup 'memory' controller support : PASS
QEMU: Checking for cgroup 'memory' controller mount-point : PASS
QEMU: Checking for cgroup 'cpu' controller support : PASS
QEMU: Checking for cgroup 'cpu' controller mount-point : PASS
QEMU: Checking for cgroup 'cpuacct' controller support : PASS
QEMU: Checking for cgroup 'cpuacct' controller mount-point : PASS
QEMU: Checking for cgroup 'cpuset' controller support : PASS
QEMU: Checking for cgroup 'cpuset' controller mount-point : PASS
QEMU: Checking for cgroup 'devices' controller support : PASS
QEMU: Checking for cgroup 'devices' controller mount-point : PASS
QEMU: Checking for cgroup 'blkio' controller support : PASS
QEMU: Checking for cgroup 'blkio' controller mount-point : PASS
QEMU: Checking for device assignment IOMMU support : PASS
QEMU: Checking if IOMMU is enabled by kernel : PASS

4.2 解决不支持虚拟化问题：

如果硬件虚拟化不可用或者想用虚拟机来安装kubevirt,则可以通过在kubeVirt CR中设置启动：

spec.configuration.developerConfiguration.useEmulation true

# kubectl edit -n kubevirt kubevirt kubevirt

添加如下内容：

spec: ...

configuration:

developerConfiguration:

useEmulation: true

4.3 安装kubevirt

yaml下载地址：kubevirt-v0.52.0版本yaml-kubernetes文档类资源-CSDN下载

# kubectl apply -f kubevirt-operator.yaml

# kubectl apply -f kubevirt-cr.yaml

安装最新版本：

# export VERSION=$(curl -s https://api.github.com/repos/kubevirt/kubevirt/releases | grep tag_name | grep -v -- '-rc' | head -1 | awk -F': ' '{print $2}' | sed 's/,//' | xargs)

# kubectl apply -f https://github.com/kubevirt/kubevirt/releases/download/${VERSION}/kubevirt-operator.yaml

# kubectl apply -f https://github.com/kubevirt/kubevirt/releases/download/${VERSION}/kubevirt-cr.yaml

查看部署结果：

# kubectl get pod -n kubevirt
NAME READY STATUS RESTARTS AGE
virt-api-6677fb87c6-cqmsh 1/1 Running 0 15m
virt-api-6677fb87c6-hsh9k 1/1 Running 0 15m
virt-controller-5dd87c95c4-5zg76 1/1 Running 0 14m
virt-controller-5dd87c95c4-dwh2z 1/1 Running 0 14m
virt-handler-7x4wc 1/1 Running 0 14m
virt-operator-85b8997768-f74zp 1/1 Running 0 88m
virt-operator-85b8997768-nw7jr 1/1 Running 0 88m

4.4 安装CDI

CDI（Containerized Data Importer）：用于使用PVC作为kubevirt VM磁盘功能。

yaml文件下载：CDI-v1.48.0的yaml文件-kubernetes文档类资源-CSDN下载

# kubectl apply -f cdi-operator.yaml

# kubectl apply -f cdi-cr.yaml

查看部署结果：

# kubectl get pod -n cdi
NAME READY STATUS RESTARTS AGE
cdi-apiserver-5dc575cc5b-tw5r5 1/1 Running 0 4m35s
cdi-deployment-596b69f4bd-hhdd5 1/1 Running 0 4m28s
cdi-operator-59fd74c5df-nlqpj 1/1 Running 0 6m1s
cdi-uploadproxy-6b46f965f6-5vk9l 1/1 Running 0 4m22s

安装最新版本：

# export VERSION=$(curl -s https://github.com/kubevirt/containerized-data-importer/releases | grep -o "v[0-9]\.[0-9]*\.[0-9]*"| head -1)

# kubectl create -f https://github.com/kubevirt/containerized-data-importer/releases/download/$VERSION/cdi-operator.yaml

# kubectl create -f https://github.com/kubevirt/containerized-data-importer/releases/download/$VERSION/cdi-cr.yaml

4.5 virtctl命令部署

virtctl是kubevirt一个命令行工具

# export VERSION=$(curl -s https://api.github.com/repos/kubevirt/kubevirt/releases | grep tag_name | grep -v -- '-rc' | head -1 | awk -F': ' '{print $2}' | sed 's/,//' | xargs)

# curl -L -o /usr/local/bin/virtctl https://github.com/kubevirt/kubevirt/releases/download/$VERSION/virtctl-$VERSION-linux-amd64
# chmod +x /usr/local/bin/virtctl