QEMU-KVM中的多线程压缩迁移技术

版权声明:本文为博主原创文章,遵循 CC 4.0 by-sa 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/leoufung/article/details/51281633

QEMU-KVM中的多线程压缩迁移技术

 

1.     技术原理

 

目前的迁移技术,都是通过向QEMUFILE中直接写入裸内存数据来达到传送虚拟机都目的端,这种情况下,发送的数据量大,从而会导致更高的迁移时间(total time)和黑宕时间(downtime)。

本文介绍的方法,并不直接发送客户机的裸内存,而是在发送前对客户机内存进行压缩,在目的端接收到内存后,进行对数据进行解压缩,从而恢复客户机的内存。使用压缩技术后,传输的数据总量会减少60%,这样在网络带宽有限的情况下,本技术就显得十分有用。在上述情况下,本技术会使得总迁移时间减少70%+,同时宕机时间减少50%以上。总的收益取决于数据的可压缩性。

一方面,压缩/解压缩的过程会消耗CPU周期而加大了迁移的时间;另一方面,总传输数据量的锐减,又会减少迁移时间。那么如果压缩足够的快,总的迁移时间就会减少。为了能够进行高速的压缩,本技术中使用了多线程并发的方式,提高压缩的速度。

目前虚拟机中,使用ZLIB完成压缩/解压缩的工作。在CPU相同的情况下,ZLIB官方给出,解压缩的速度是压缩速度的4倍。也就是说,如果迁移的源端和目的端处理器相同的情况下,使得压缩线程数量是解压缩线程数量的4倍就可以在资源消耗最小的情况下,取得最优的压缩速率。

为了更多的适应网络状况,虚拟机中引入了压缩级别 -- Compression level。Compression level可以用来控制压缩速率和压缩比例。高的压缩比率会消耗更多的时间,level 0就代表不进行压缩, 1级代表最优的压缩速率, 9级代表了最好的压缩比率(最多的压缩时间)。我们可以选择从0级到9级中的任意一个级别。

 

 

2.     多线程压缩动态迁移技术的应用场景

压缩/解压缩时间将会消耗CPU周期。所以,如果整个系统CPU都被压得非常满的情况下,避免使用这个特性。当网络带宽有限,CPU资源又足够充足的情况下,使用多线程压缩动态迁移技术会带来比较好的效果。当网络充足且CPU资源充足的情况下,使用本技术也将会减少总迁移时间。

 

3.     多线程压缩迁移技术使能方法

 

源端:

1.      启动虚拟机

         /home/liufeng/qemu-system-x86_64 -machine accel=kvm -hda ./disk0.img -m 2048  -vnc 192.168.2.106:0 -monitor stdio

2.     使能源端多线程压缩动态迁移技术

a.       migrate_set_capabilitycompress on                 //使能压缩

b.      migrate_set_parametercompress-threads 12  //12个压缩线程

c.       migrate_set_parametercompress-level 1         //压缩级别为1级

3.     开始迁移

  migrate -d tcp:192.168.2.105:6666


目的端:

1.      启动虚拟机

         /home/liufeng/qemu-system-x86_64 -machine accel=kvm -hda /home/kvm/vm/disk/disk0.img -m 2048  -vnc 192.168.2.105:0 -monitor stdio -incoming tcp:192.168.2.105:6666

2.      使能目的端多线程压缩动态迁移技术

a.      migrate_set_capabilitycompress on

b.      migrate_set_parametercompress-level 1

c.      migrate_set_parameterdecompress-threads 3 //3个压缩线程

3.      等待迁移完成


5.     Libvirt接口使能方式

 

Libvirt在1.3.5版本之后,提供了对多线程压缩迁移技术的接口支持。

virsh命令对用户提供接口,使能方式如下:

a.      在迁移命令中加入“--comp-methods mt”,使能多线程压缩迁移技术

b.      在迁移命令中加入“--comp-mt-level 1”,指定多线程压缩迁移技术中的压缩级别

c.      在迁移命令中加入“--comp-mt-threads 12”,指定进行内存压缩的线程数量

d.      在迁移命令中加入“--comp-mt-dthreads 3”,指定进行内存解压缩的线程数量


完整命令如下:

virsh migrate centos_kvm_vm --live qemu+ssh://192.168.2.105/system --unsafe --verbose --comp-methods mt --comp-mt-level 1 --comp-mt-threads 12 --comp-mt-dthreads 3

  

6.     效果验证

 

运行环境:

 

CPU: Intel(R) Xeon(R) CPU E5-2650 v3 @2.30GHz

Logic core: 40

Socket : 2

RAM: 128G

NIC: 1000baseT/Full

Host OS:   CentOSLinux release 7.2.1511 (Core) 64-bit

Guest OS:  CentOS Linux release 7.2.1511 (Core) 64-bit

 

a.      情况一:带宽无限制,CPU充足

 

原动态迁移

多线程压缩技术动态迁移

压缩级别:    1

压缩线程数:  12

解压缩线程数:3

迁移总时间(msec):

9536

4466

Downtime时间(msec):

34

22

传输数据量(KB)

307783

140445

 

效果:总的迁移时间减少50%;downtime时间减少35%

 

b.      情况二:带宽有限制情况,CPU充足

 

原动态迁移

多线程压缩技术动态迁移

压缩级别:    1

压缩线程数:  12

解压缩线程数:3

迁移总时间(msec):

11720

5652

Downtime时间(msec):

169

21

传输数据量(KB)

311554

140189

 

效果:总迁移时间减少了200%,downtime时间减少了800%

 

7.     代码实现分析

 

7.1 QEMU-KVM虚拟机实现代码分析

本分析基于:QEMU 2.5

QEMU-KVM虚拟机实现代码分析如下:


1.      在启动migration过程中,如果发现使能了多线程压缩技术,则创建压缩线程

 

2.      迁移开始后,有migration_thread()进行迁移工作,在iterator和complete阶段,如果发现使能了多线程压缩技术,则通过compress_page_with_multi_thread()完成数据的压缩和发送

 

3.      最终在compress_page_with_multi_thread()中激活压缩线程,通过zlib的compress2()函数完成数据的压缩,并通过QEMU-FILE发送

 

 

7.2 Libvirt代码分析


代码基于git commit df4d908d30f59678efd636d2023b3e93f0d0591e

 分成如下三部分对libvirt代码进行分析


a.       参数设定(主要关注红旗部分) 

 

 





b.      迁移源端(主要关注红旗部分)





#libvirt中迁移功能使用如下调试断点、命令

b qemuMonitorJSONSetMigrationCapabilityif capability==QEMU_MONITOR_MIGRATION_CAPS_XBZRLE

b qemu_monitor_json.c:295

p cmdstr


b qemuMonitorJSONSetMigrationCompression

b qemu_monitor_json.c:297

p cmdstr

b qemuMonitorJSONSetMigrationCapability ifcapability==QEMU_MONITOR_MIGRATION_CAPS_COMPRESS

b qemuMigrationCompressionParse

b qemuMigrationCompressMethodTypeFromString

  • 通过QEMU_MIGRATION_COMPRESS_MT判定QEMU_MONITOR_MIGRATION_CAPS_COMPRESS的状态决定是否使能多线程压缩;
  • 通过virJSONValueObjectAppendNumberInt("compress-level");virJSONValueObjectAppendNumberInt("decompress-threads");virJSONValueObjectAppendNumberInt("compress-threads");来进行压缩参数设定

 

c.       迁移目的端(主要关注红旗部分)




(

#libvirt中迁移功能使用如下调试断点、命令

b qemuMonitorJSONSetMigrationCapability ifcapability==QEMU_MONITOR_MIGRATION_CAPS_XBZRLE

b qemu_monitor_json.c:295

p cmdstr


bqemuMonitorJSONSetMigrationCompression

bqemu_monitor_json.c:297

p cmdstr

bqemuMonitorJSONSetMigrationCapability ifcapability==QEMU_MONITOR_MIGRATION_CAPS_COMPRESS

bqemuMigrationCompressionParse

b qemuMigrationCompressMethodTypeFromString

)

 

  • 通过QEMU_MIGRATION_COMPRESS_MT判定QEMU_MONITOR_MIGRATION_CAPS_COMPRESS的状态决定是否使能多线程压缩;
  • 通过virJSONValueObjectAppendNumberInt("compress-level");virJSONValueObjectAppendNumberInt("decompress-threads");virJSONValueObjectAppendNumberInt("compress-threads");来进行压缩参数设定


8.     可优化点

 

1.      压缩算法

a.      目前使用的是开源zlib库完成压缩,还有其他压缩库的压缩方式可以提供,以便适应更多的场景

b.      商业压缩库有着更好的效率

c.      通过FPGA进行硬件辅助压缩

 

2.      压缩策略

a.      虚拟机迁移算法自适应所有网络,对网络进行测试(是否满足上面的公式),然后形成反馈因子输入到迁移算法中,迁移算法根据反馈因子决定使用的压缩算法、压缩级别或者根本不压缩,达到在所有网络状况下而缩短downtime的目的


参考:

multi-thread-compression.txt

http://events.linuxfoundation.org/sites/events/files/slides/kvm%20live%20migraion%20optimization-kvm%20forum%202015.pdf



展开阅读全文

没有更多推荐了,返回首页