QEMU-KVM中的多线程压缩迁移技术_qemu-kvm收包线程(1)

为了做好运维面试路上的助攻手，特整理了上百道 【运维技术栈面试题集锦】 ，让你面试不慌心不跳，高薪offer怀里抱！

这次整理的面试题，小到shell、MySQL，大到K8s等云原生技术栈，不仅适合运维新人入行面试需要，还适用于想提升进阶跳槽加薪的运维朋友。

本份面试集锦涵盖了

• 174 道运维工程师面试题
• 128道k8s面试题
• 108道shell脚本面试题
• 200道Linux面试题
• 51道docker面试题
• 35道Jenkis面试题
• 78道MongoDB面试题
• 17道ansible面试题
• 60道dubbo面试题
• 53道kafka面试
• 18道mysql面试题
• 40道nginx面试题
• 77道redis面试题
• 28道zookeeper

总计 1000+ 道面试题， 内容 又全含金量又高

• 174道运维工程师面试题

1、什么是运维?

2、在工作中，运维人员经常需要跟运营人员打交道，请问运营人员是做什么工作的?

3、现在给你三百台服务器，你怎么对他们进行管理?

4、简述raid0 raid1raid5二种工作模式的工作原理及特点

5、LVS、Nginx、HAproxy有什么区别?工作中你怎么选择?

6、Squid、Varinsh和Nginx有什么区别，工作中你怎么选择?

7、Tomcat和Resin有什么区别，工作中你怎么选择?

8、什么是中间件?什么是jdk?

9、讲述一下Tomcat8005、8009、8080三个端口的含义？

10、什么叫CDN?

11、什么叫网站灰度发布?

12、简述DNS进行域名解析的过程?

13、RabbitMQ是什么东西?

14、讲一下Keepalived的工作原理?

15、讲述一下LVS三种模式的工作过程?

16、mysql的innodb如何定位锁问题，mysql如何减少主从复制延迟?

17、如何重置mysql root密码?

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化的资料的朋友，可以点击这里获取！

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

1.技术原理

使用带压缩技术的迁移后，传输的数据总量会减少60%，总迁移时间减少70%+，同时宕机时间减少50%以上。一方面，压缩/解压缩的过程会消耗CPU周期而加大了迁移的时间；另一方面，总传输数据量的锐减，又会减少迁移时间。为了能够进行高速的压缩，本技术中使用了多线程并发的方式，提高压缩的目前虚拟机中，使用ZLIB完成压缩/解压缩的工作。

在CPU相同的情况下，ZLIB官方给出，解压缩的速度是压缩速度的4倍。也就是说，如果迁移的源端和目的端处理器相同的情况下，使得压缩线程数量是解压缩线程数量的4倍就可以在资源消耗最小的情况下，取得最优的压缩为了更多的适应网络状况，虚拟机中引入了压缩级别 – Compression level。Compression level可以用来控制压缩速率和压缩比例。高的压缩比率会消耗更多的时间，level 0就代表不进行压缩， 1级代表最优的压缩速率， 9级代表了最好的压缩比率(最多的压缩时间)。我们可以选择从0级到9级中的任意一个级别。

2. 多线程压缩动态迁移技术的应用场景

压缩/解压缩时间将会消耗CPU周期。所以，如果整个系统CPU都被压得非常满的情况下，避免使用这个特性。当网络带宽有限，CPU资源又足够充足的情况下，使用多线程压缩动态迁移技术会带来比较好的效果。当网络充足且CPU资源充足的情况下，使用本技术也将会减少总迁移时间。

3. 多线程压缩迁移技术使能方法

源端：

1. 启动虚拟机

/home/liufeng/qemu-system-x86_64 -machine accel=kvm -hda ./disk0.img -m 2048 -vnc 192.168.2.106:0 -monitor stdio

2. 使能源端多线程压缩动态迁移技术

a.) migrate_set_capabilitycompress on //使能压缩
b.) migrate_set_parametercompress-threads 12 //12个压缩线程
c.) migrate_set_parametercompress-level 1 //压缩级别为1级

3. 开始迁移

migrate -d tcp:192.168.2.105:6666

目的端：

1. 启动虚拟机

/home/liufeng/qemu-system-x86_64 -machine accel=kvm -hda /home/kvm/vm/disk/disk0.img -m 2048 -vnc 192.168.2.105:0 -monitor stdio -incoming tcp:192.168.2.105:6666

2. 使能目的端多线程压缩动态迁移技术

a.) migrate_set_capabilitycompress on
b.) migrate_set_parametercompress-level 1
c.) migrate_set_parameterdecompress-threads 3 //3个压缩线程

3. 等待迁移完成

4. 效果验证

运行环境:

CPU: Intel® Xeon® CPU E5-2650 v3 @2.30GHz
Logic core: 40
Socket : 2
RAM: 128G
NIC: 1000baseT/Full
Host OS: CentOSLinux release 7.2.1511 (Core) 64-bit
Guest OS: CentOS Linux release 7.2.1511 (Core) 64-bit

a. 情况一：带宽无限制，CPU充足

	原动态迁移	多线程压缩技术动态迁移 压缩级别：    1 压缩线程数：  12 解压缩线程数：3
迁移总时间(msec):	9536	4466
Downtime时间(msec):	34	22
传输数据量(KB)	307783	140445

效果：总的迁移时间减少50%；downtime时间减少35%

b. 情况二：带宽有限制情况，CPU充足

	原动态迁移	多线程压缩技术动态迁移 压缩级别：    1 压缩线程数：  12 解压缩线程数：3
迁移总时间(msec):	11720	5652
Downtime时间(msec):	169	21
传输数据量(KB)	311554	140189

效果：总迁移时间减少了200%,downtime时间减少了800%

5. 代码实现分析

虚拟机实现代码分析如下(本分析基于：QEMU 2.5)：

1. 在启动migration过程中，如果发现使能了多线程压缩技术，则创建压缩线程

为了做好运维面试路上的助攻手，特整理了上百道 【运维技术栈面试题集锦】 ，让你面试不慌心不跳，高薪offer怀里抱！

这次整理的面试题，小到shell、MySQL，大到K8s等云原生技术栈，不仅适合运维新人入行面试需要，还适用于想提升进阶跳槽加薪的运维朋友。

本份面试集锦涵盖了

• 174 道运维工程师面试题
• 128道k8s面试题
• 108道shell脚本面试题
• 200道Linux面试题
• 51道docker面试题
• 35道Jenkis面试题
• 78道MongoDB面试题
• 17道ansible面试题
• 60道dubbo面试题
• 53道kafka面试
• 18道mysql面试题
• 40道nginx面试题
• 77道redis面试题
• 28道zookeeper

总计 1000+ 道面试题， 内容 又全含金量又高

• 174道运维工程师面试题

1、什么是运维?

2、在工作中，运维人员经常需要跟运营人员打交道，请问运营人员是做什么工作的?

3、现在给你三百台服务器，你怎么对他们进行管理?

4、简述raid0 raid1raid5二种工作模式的工作原理及特点

5、LVS、Nginx、HAproxy有什么区别?工作中你怎么选择?

6、Squid、Varinsh和Nginx有什么区别，工作中你怎么选择?

7、Tomcat和Resin有什么区别，工作中你怎么选择?

8、什么是中间件?什么是jdk?

9、讲述一下Tomcat8005、8009、8080三个端口的含义？

10、什么叫CDN?

11、什么叫网站灰度发布?

12、简述DNS进行域名解析的过程?

13、RabbitMQ是什么东西?

14、讲一下Keepalived的工作原理?

15、讲述一下LVS三种模式的工作过程?

16、mysql的innodb如何定位锁问题，mysql如何减少主从复制延迟?

17、如何重置mysql root密码?

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化的资料的朋友，可以点击这里获取！

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

主从复制延迟?

17、如何重置mysql root密码?

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化的资料的朋友，可以点击这里获取！

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！