起因:由于公司的几台开发测试服务器从IDC机房搬回办公室后,电费飙涨,为降低公司成本,倡导绿色节能,遂想将几台资源利用率不高的服务器进行虚拟化后关停,因此就有了本文。权当学习记录,有不当之处,欢迎读者指出,共同探讨。
一、基本环境
源服务器:Ubuntu18.04
目的服务器:CentOS 7.9 、 Libvirt KVM/QEMU
网络:同一局域网
软件:Clonezilla-live-2.7.1-22 、rufus 、VNC Viewer
下载链接:
Clonezilla: https://clonezilla.org/downloads.php
Rufus: https://rufus.ie/zh/
二、Clonezilla(再生龙)简介
Clonezilla是类似于TrueImage®或NortonGhost®的分区和磁盘映像/克隆程序。它可以帮助您进行系统部署,裸机备份和恢复。可以使用三种类型的Clonezilla:Clonezilla live,Clonezilla lite服务器和Clonezilla SE(服务器版)。Clonezilla live适用于单机备份和还原。尽管Clonezilla lite服务器或SE用于大规模部署,但它可以同时克隆许多(40多台!)计算机。Clonezilla仅在硬盘中保存和恢复使用过的块。这提高了克隆效率。借助42节点群集中的某些高端硬件,创造了最高8 GB / min的速率恢复多台的记录。(官网英文Google机翻)
三、操作步骤
1.前期准备:
确认源服务器或主机正确的配置了U盘启动,并确认U盘可以正常使用,因为我在操作过程中就遇到了同一个U盘有些服务器可以识别,有些不能识别的情况。
准备好显示器、键盘,一般服务器只有VGA接口,确认显示器配备相应线缆。
准备好存储备份镜像的空间,因为服务器数据动辄几十上百G,备份多台将消耗很多磁盘空间,因此需做好提前规划。
2.创建Clonezilla启动U盘
官方推荐了几种方式进行启动U盘的创建,本次采用rufus。
rufus有绿色版本,下载后直接打开运行,先选择镜像:
选择已经下载好的Clonezilla镜像后,确认U盘中数据已备份后,可点击开始,此时会提示写入方式,直接点击OK,以推荐方式写入:
提示缺少的文件,点击是将在rufus文件同目录下创建一个文件夹并自动下载:
警告提示,点确定:
完成后,关闭rufus即可。
3.开始备份
重启服务器,并通过U盘启动,如果服务器使用的是UEFI引导程序,用U盘启动时记得选择BIOS,进入Clonezilla启动页,默认选择第一项:
选择语言,支持简体中文:
选择键盘布局,默认即可:
进入软件:
选择第一项,备份和还原都是这个,后面详细说明:
选择文件目录,这里使用ssh服务,第二项:
配置当前服务器的网络信息,即IP地址、子网掩码、网关、DNS服务器等,这里根据自己的网络环境设置,我这里使用静态IP:
配置IP地址:
配置子网掩码:
配置网关:
配置DNS服务器:
配置存储备份镜像的服务器IP:
配置备份服务器ssh服务端口:
配置ssh登陆的用户名:
配置备份存储的路径:
提示要确认并输入服务器密码:
点击确定后,输入yes,并输入密码:
如果连接成功,则会提示挂载的备份目录,可以查看是否正确,回车继续:
选择工作模式,这里选择第二项,专家模式:
根据自己的情况选择,这里我选择备份硬盘到镜像:
输入镜像文件名称,软件会自动在备份目录生成一个文件夹:
确定名称后,选择需要备份的硬盘,有多个可以选择多个:
接下来的几个选项都是跟备份数据的参数有关,如果不熟悉可以使用默认设置。
选择备份程序的顺序:
备份高级参数:
镜像压缩格式:
选择卷大小:
检查源文件系统:
检查备份镜像:
是否加密镜像:
操作完成后的动作:
按回车继续:
再次确认,输入y并回车:
等待备份过程结束:
完成后可以选择关闭服务器。
至此,一台服务器备份完成,可以在备份服务器上查看备份文件情况。
4.还原备份镜像为kvm虚拟机
首先,创建虚拟机磁盘文件,因后续可能需要将虚拟机导入openstack,因此我创建了qcow2格式的磁盘文件,也可根据情况指定其他磁盘文件格式,并指定文件大小:
qemu-img create -f qcow2 /data/test.qcow2 200G
建立虚拟机配置文件,默认在/etc/libvirt/qemu/文件夹下,格式为xml。可以从其它虚拟机文件复制来修改,也可以自己写或者用virt-install命令建立,这里复制一份其它虚拟机文件并做修改:
<!--
WARNING: THIS IS AN AUTO-GENERATED FILE. CHANGES TO IT ARE LIKELY TO BE
OVERWRITTEN AND LOST. Changes to this xml configuration should be made using:
virsh edit test
or other application using the libvirt API.
-->
<domain type='kvm'>
<name>test</name> #虚拟机的名称
<uuid>e5b3ab33-9317-4b8e-a5bc-7b0150409166</uuid> #虚拟机的UUID,此值是唯一的,可以用uuidgen命令生成
<memory unit='KiB'>8388608</memory> #虚拟机最大内存限制,单位是KB
<currentMemory unit='KiB'>8388608</currentMemory> #虚拟机当前内存大小,单位是KB
<vcpu placement='static'>4</vcpu> #虚拟机虚拟cpu个数
<os>
<type arch='x86_64' machine='pc-i440fx-rhel7.6.0'>hvm</type> #arch参数表示宿主机cpu架构,machine表示宿主机系统,如:pc-i440fx-rhel7.6.0表示centos7.6版本,pc-i440fx-bionic表示ubuntu18.04版本
<boot dev='cdrom'/> #启动设备为光驱,如果是硬盘,则将cdrom改为hd
<bootmenu enable='yes'/> #是否显示启动菜单,只有通过vnc工具才能看到,kvm的console是无法看到的
</os>
<features>
<acpi/>
<apic/>
</features>
<cpu mode='custom' match='exact' check='partial'>
<model fallback='allow'>IvyBridge-IBRS</model>
</cpu>
<clock offset='utc'>
<timer name='rtc' tickpolicy='catchup'/>
<timer name='pit' tickpolicy='delay'/>
<timer name='hpet' present='no'/>
</clock>
<on_poweroff>destroy</on_poweroff>
<on_reboot>restart</on_reboot>
<on_crash>destroy</on_crash>
<pm>
<suspend-to-mem enabled='no'/>
<suspend-to-disk enabled='no'/>
</pm>
<devices>
<emulator>/usr/libexec/qemu-kvm</emulator> #虚拟机程序路径,这是centos的,ubuntu的则为/usr/bin/kvm-spice
<disk type='file' device='disk'> #这里可以设置虚拟机磁盘是来自文件还是物理块设备
<driver name='qemu' type='qcow2'/> #指定虚拟磁盘文件格式
<source file='/data/test.qcow2'/> #指定虚拟磁盘文件路径
<target dev='vda' bus='virtio'/>
<address type='pci' domain='0x0000' bus='0x00' slot='0x05' function='0x0'/>
</disk>
<disk type='file' device='cdrom'>
<driver name='qemu' type='raw'/>
<source file='/sata/iso/clonezilla-live-2.7.1-22-amd64.iso'/> #指定光盘镜像文件路径
<target dev='hda' bus='ide'/>
<readonly/>
<address type='drive' controller='0' bus='0' target='0' unit='0'/>
</disk>
<controller type='usb' index='0' model='ich9-ehci1'>
<address type='pci' domain='0x0000' bus='0x00' slot='0x04' function='0x7'/>
</controller>
<controller type='usb' index='0' model='ich9-uhci1'>
<master startport='0'/>
<address type='pci' domain='0x0000' bus='0x00' slot='0x04' function='0x0' multifunction='on'/>
</controller>
<controller type='usb' index='0' model='ich9-uhci2'>
<master startport='2'/>
<address type='pci' domain='0x0000' bus='0x00' slot='0x04' function='0x1'/>
</controller>
<controller type='usb' index='0' model='ich9-uhci3'>
<master startport='4'/>
<address type='pci' domain='0x0000' bus='0x00' slot='0x04' function='0x2'/>
</controller>
<controller type='pci' index='0' model='pci-root'/>
<controller type='ide' index='0'>
<address type='pci' domain='0x0000' bus='0x00' slot='0x01' function='0x1'/>
</controller>
<interface type='bridge'> #指定网卡工作模式,这里是桥接模式
<mac address='52:54:00:f2:8c:3a'/> #这里要注意,如果是手动复制的配置文件,则需要自己修改mac地址,否则会出现地址冲突
<source bridge='br0'/> #指定桥接到哪个虚拟网桥上,即虚拟网桥的名称
<model type='virtio'/> #指定虚拟网卡模拟硬件型号
<address type='pci' domain='0x0000' bus='0x00' slot='0x03' function='0x0'/>
</interface>
<serial type='pty'>
<target type='isa-serial' port='0'>
<model name='isa-serial'/>
</target>
</serial>
<console type='pty'>
<target type='serial' port='0'/>
</console>
<input type='tablet' bus='usb'>
<address type='usb' bus='0' port='1'/>
</input>
<input type='mouse' bus='ps2'/>
<input type='keyboard' bus='ps2'/>
<graphics type='vnc' port='5911' autoport='no' listen='0.0.0.0'> #配置vnc监听和端口
<listen type='address' address='0.0.0.0'/>
</graphics>
<video>
<model type='cirrus' vram='16384' heads='1' primary='yes'/>
<address type='pci' domain='0x0000' bus='0x00' slot='0x02' function='0x0'/>
</video>
<memballoon model='virtio'>
<address type='pci' domain='0x0000' bus='0x00' slot='0x06' function='0x0'/>
</memballoon>
</devices>
</domain>
以上是主要的虚拟机配置文件说明,更多详细内容,可自行查询,本文最后会列举一些遇到的问题及解决方法。
定义虚拟机,并启动:
sudo virsh define /etc/libvirt/qemu/test.xml
virsh start test
启动后与备份时选择的菜单,前几步一致,先是进入主页,默认第一项:
选择语言:
选择键盘:
进入主菜单:
选择第一项:
镜像来源选择ssh server:
还是配置静态IP,中间的子网掩码、网关和DNS配置略过,请自行配置:
输入镜像源服务器的IP:
输入源服务器ssh端口:
输入ssh账号:
输入镜像源目录:
按确定后,输入ssh密码:
选择专家模式:
选择从镜像还原至本地硬盘:
选择要还原的镜像文件:
选择本地磁盘,注意本地磁盘容量要大于等于镜像文件的容量,否则无法进行还原:
选择磁盘参数,可以使用默认值:
等待完成后,选择关机,因为还需要修改kvm的配置文件。
5.挂载虚拟机磁盘
挂载虚拟机磁盘有几种方式:
方法一:采用系统的nbd模块,如果系统没有安装,还需要安装,这里就不展开了,有兴趣的可以自己去查找。
加载nbd模块:
modprobe nbd
连接磁盘:
qemu-nbd --connect=/dev/nbd0 /data/test.qcow2
挂载磁盘,如果有多个分区,则分别挂载:
mount /dev/nbd0p1 tmp1
方法二:安装 libguestfs-tools,它提供了一系列工具来访问和编辑 VM 磁盘镜像。
安装 libguestfs-tools:
yum install libguestfs-tools
挂载磁盘:
guestmount -a /data/test.qcow2 -m <device> tmp
“-m ” 用于指定磁盘镜像内,你想要挂载的分区(比如,/dev/sda1)。如果你不确定磁盘镜像内有什么分区,你可以任意提供一个无效的设备名。guestmount工具将为你展示所有你可以选择的设备名字。如:
$ sudo guestmount -a sdcard.img.qcow2 -m /dev/sdaqw qcow2_mount_point
libguestfs: error: mount_options: mount_options_stub: /dev/sdaqw: No such file or directory
guestmount: '/dev/sdaqw' could not be mounted.
guestmount: Did you mean to mount one of these filesystems?
guestmount: /dev/sda (vfat)
挂载后根据需要修改fstab文件、网卡信息,有需要的话可以配置kvm的console登陆,这个需要修改内核启动参数,在/boot/grub/grub.cfg中找到启动内核文件,通常以boot/vmlinuz开头的行,后面空格后添加console=ttyS0 115200,如果同一版本有多个启动项,则每行都要添加。
修改好以上文件后,取消挂载:
gusetunmount tmp
6.修改虚拟机配置文件
virsh edit test
这里仅就需要修改的地方列出,如果要使用UEFI启动请参考本文第四部分问题二:
......
<os>
<type arch='x86_64' machine='pc-i440fx-rhel7.6.0'>hvm</type> #arch参数表示宿主机cpu架构,machine表示宿主机系统,如:pc-i440fx-rhel7.6.0表示centos7.6版本,pc-i440fx-bionic表示ubuntu18.04版本
<boot dev='hd'/> #取消光盘启动,改为硬盘启动
<bootmenu enable='yes'/> #是否显示启动菜单,只有通过vnc工具才能看到,kvm的console是无法看到的
</os>
......
<disk type='file' device='cdrom'>
<driver name='qemu' type='raw'/>
<source file='/sata/iso/clonezilla-live-2.7.1-22-amd64.iso'/> #删除此行
<target dev='hda' bus='ide'/>
<readonly/>
<address type='drive' controller='0' bus='0' target='0' unit='0'/>
</disk>
......
<graphics type='spice' autoport='yes'> #如果不保留vnc访问,这里可以这样修改
<listen type='address'/>
</graphics>
......
完成后保存退出,启动虚拟机即可。
四、问题及解决方案
这里总结了一些KVM使用上遇到的问题和解决方案,有些问题可能比较小白,请各位读者不要见笑。
问题一:源服务器很多服务安装在系统盘,而系统盘容量有限,容量已满,转换为虚拟机后,可以方便进行磁盘扩容。
首先,创建虚拟磁盘时要设计好容量,启动虚拟机后,查看分区情况:
sudo fdisk /dev/sda
删除容量要满的分区,输入d,回车,这里要记住/dev/sda2的起始位置,如上图中即为1050624。
然后默认会删除/dev/sda2,输入n回车,这里删除后不要保存,切记!切记!切记!创建新分区,注意起始位置要一致,然后输入你想要分配的空间大小,提示是否移除磁盘分区信息时,选择n:
然后输入w,保存退出。
然后根据你的文件系统类型,选择合适的命令,进行在线扩容:
ext4的使用:
sudo resize2fs /dev/sda2
xfs使用:
sudo xfs_growfs /dev/sda2
完成后df -h查看扩容后分区情况:
问题二:让kvm支持UEFI启动方式
默认kvm使用的是BIOS启动方式,如果要支持UEFI启动,则需要安装额外的包,并修改虚拟机的配置文件。
首先安装相应的软件包:
Ubuntu系统
sudo apt install ovmf
Centos系统
wget http://www.kraxel.org/repos/firmware.repo -O /etc/yum.repos.d/firmware.repo
yum install edk2.git-ovmf-x64 -y
修改kvm的配置文件:
Ubuntu系统
......
<os>
......
<loader type='rom'>/usr/share/ovmf/OVMF.fd</loader>
......
</os>
......
Centos系统
......
<os>
......
<loader readonly='yes' secure='no' type='pflash'>/usr/share/edk2.git/ovmf-x64/OVMF_CODE-pure-efi.fd</loader>
<nvram>/usr/share/edk2.git/ovmf-x64/OVMF_VARS-pure-efi.fd</nvram>
......
</os>
......
问题三:为qcow2格式的磁盘文件进行分区
由于之前没有注意源服务器是UEFI启动,导致镜像还原到kvm后无法启动,当时以为是磁盘分区的问题,所以就需要提前将虚拟磁盘进行分区,查询资料后,发现可以使用nbd模块实现。
创建一个磁盘镜像文件:
qemu-img create -f qcow2 test.qcow2 2G
加载nbd模块:
modprobe nbd max_part=12
连接磁盘镜像文件:
qemu-nbd --connect=/dev/nbd0 test.qcow2
进行分区操作:
fdisk /dev/nbd0
格式化:
mkfs.ext4 -F -L "rootfs" /dev/nbd0p0
挂载和取消挂载:
mount -t ext4 /dev/nbd0p0 tmp1
umount tmp1
操作完成后,记得断开连接:
qemu-nbd --disconnect /dev/nbd0
这种方式可以将镜像磁盘文件当成本地磁盘一样进行操作,而 libguestfs-tools这个工具只能相当于操作本地磁盘上的文件,区别显而易见。
问题四:kvm网络从NAT切换至Bridge模式导致无法上网
这个与本文关联性不大,仅当学习笔记记录下来。
现象描述:
之前在ubuntu服务器上安装了libvirt,并安装了几台虚拟机做测试用,当时由于没有外网访问的需求,因此把虚拟机设置成了NAT模式,虚拟机上网正常。后来由于测试环境需要将虚拟机暴露给本地网络,因此调整了虚拟机网络配置,改成了Bridge模式,并配置了宿主机的桥接网卡。接着问题来了,虚拟机可以ping通宿主机ip,却不能ping通本地网络网关,也不能上网,开始以为是网卡驱动或是mac地址冲突等问题,但都一一排除。仔细想了一下,能ping通宿主机ip,但不能到本地网络网关,可能是宿主机未转发包出去。
解决方案:
开始以为只是包转发问题,于是根据查找资料,在/etc/sysctl.conf中添加:
net.bridge.bridge-nf-call-ip6tables = 0
net.bridge.bridge-nf-call-iptables = 0
net.bridge.bridge-nf-call-arptables = 0
并使用sudo sysctl -p 生效。
上面几条代码的意思是不让iptables过滤桥接网卡的包。
但是后面查看几台运行centos系统的宿主机上面并没有将这几条设置为0,当时也没想清楚为什么。
就在写到这里的时候,突然想起了防火墙设置,于是去查看发现,centos宿主机没开防火墙,所以iptables规则设置成什么都不会生效,而ubuntu系统开启了防火墙,所以要设置为0,取消包过滤才行!
根据以上推测,关闭了ubuntu的防火墙,并查看了规则列表,发现里面设置了仅允许NAT模式网卡通信,因此确定最终原因是因为防火墙规则。
五、总结
Clonezilla备份还原过程操作不算复杂,只是有些细节要因环境而异,在实际操作中要做好准备,确保镜像能够正常还原并启动。另外有兴趣的同学可以尝试使用pxe启动的方式进行备份还原,操作过程基本一致,这里就不再赘述了。