在libvirt中使用SanLock

最新推荐文章于 2024-01-11 16:58:46 发布
最新推荐文章于 2024-01-11 16:58:46 发布
阅读量358 收藏
点赞数
文章标签： 运维 python
原文链接：https://my.oschina.net/LastRitter/blog/1539257
版权

2019独角兽企业重金招聘Python工程师标准>>> hot3.png

测试环境请参考之前的文章。

安装软件包（Test1和Test2节点）

$ yum install -y qemu-kvm qemu-img virt-manager libvirt 
$ yum install -y libvirt-python python-virtinst libvirt-client 
$ yum install -y virt-install virt-viewer libvirt-lock-sanlock

挂载NFS目录（Test1和Test2节点）

  • 注释掉之前增加的自动挂载目录：
$ vi /etc/fstab
#192.168.195.131:/mnt/nfs    /mnt/nfs   nfs   defaults   1 1
  • 新增新的挂在目录：
$ echo "192.168.195.131:/mnt/nfs /var/lib/libvirt/sanlock nfs hard,nointr 0 0" >> /etc/fstab
  • 重新挂载NFS目录，如果失败，则重启节点:
$ umount /mnt/nfs
$ mount /var/lib/libvirt/sanlock
  • 修改目录权限：
$ chown -R sanlock:sanlock /var/lib/libvirt/sanlock

说明

这里也可以修改libvirt中sanlock租约的路径为之前的NFS目录，而不用修改之前的mount路径：

$ augtool -s set /files/etc/libvirt/qemu-sanlock.conf/disk_lease_dir "/mnt/nfs"

配置Host ID

  • 设置Test1节点使用Host ID 1：
$ augtool -s set /files/etc/libvirt/qemu-sanlock.conf/host_id 1
  • 设置Test2节点使用Host ID 2：
$ augtool -s set /files/etc/libvirt/qemu-sanlock.conf/host_id 2

修改libvirt的sanlock配置（Test1和Test2节点）

  • 使用自动租约：
$ augtool -s set /files/etc/libvirt/qemu-sanlock.conf/auto_disk_leases 1

此选项会使libvirt在disk_lease_dir目录（默认为"/var/lib/libvirt/sanlock"）根据磁盘的“路径”的MD5值创建Resources租约。

  • 修改用户组和用户：
$ augtool -s set /files/etc/libvirt/qemu-sanlock.conf/group sanlock
$ augtool -s set /files/etc/libvirt/qemu-sanlock.conf/user sanlock
  • 配置libvirt使用sanlock：
$ augtool -s set /files/etc/libvirt/qemu.conf/lock_manager sanlock
  • 重启服务，使配置生效：
$ systemctl restart libvirtd.service
  • 检查平配置是否成功，如果成功则会在NFS根目录看到__LIBVIRT__DISKS__文件。
$ ls /var/lib/libvirt/sanlock/
__LIBVIRT__DISKS__

准备虚拟机镜像（Test1或Test2节点）

  • 下载并写入磁盘镜像文件到共享存储中：
$ wget http://download.cirros-cloud.net/0.3.4/cirros-0.3.4-x86_64-disk.img
$ dd if=cirros-0.3.4-x86_64-disk.img of=/dev/mapper/raw
  • 测试虚拟机镜像：
$ yum install -y tigervnc
$ qemu-system-x86_64 -vnc :2 -monitor stdio -hda /dev/mapper/raw -m 256M
$ vncviewer :2

最后关闭虚拟机。

创建虚拟机（Test1和Test2节点）

$ vi test_sanlock.xml

<domain type='kvm'>
	<name>test_sanlock</name>
	<memory>262144</memory>
	<vcpu>1</vcpu>

	<os>
		<type arch='x86_64' machine='pc'>hvm</type>
		<boot dev='hd'/>
	</os>

	<devices>
		<disk type='file' device='disk'>
			<driver name='qemu' type='qcow2'/>
			<source file='/dev/mapper/raw'/>
			<target dev='hda' bus='ide'/>
		</disk>
		<input type='tablet' bus='usb'/>
		<input type='mouse' bus='ps2'/>

		<graphics type='vnc' port='-1' listen = '0.0.0.0' autoport='yes' keymap='en-us'/>
	</devices>
</domain>

$ virt-xml-validate test_sanlock.xml
$ virsh define test_sanlock.xml
$ virsh list --all

在两节点上同时使用相同磁盘（/dev/mapper/raw）的虚拟机

  1. 在Test1节点上运行虚拟机。
  • 启动虚拟机:
$ virsh start test_sanlock
域 test_sanlock 已开始
  • 查看虚拟机:
$ virsh vncdisplay test_sanlock
$ vncviewer :0
  • 查看锁目录：
$ ls -l /var/lib/libvirt/sanlock/
-rw------- 1 sanlock sanlock 1048576 4月  20 16:24 7edb5b6820e56426339607637d18e871
-rw-rw---- 1 sanlock sanlock 1048576 4月  20 16:35 __LIBVIRT__DISKS__
  • 查看锁信息：
$ sanlock direct dump /var/lib/libvirt/sanlock/__LIBVIRT__DISKS__
  offset                            lockspace                                         resource  timestamp  own  gen lver
00000000                   __LIBVIRT__DISKS__       322ee34a-aa6e-4224-971f-5612072ca6c0.Test1 0000018489 0001 0001
00000512                   __LIBVIRT__DISKS__       d9441ec2-e9a1-4657-add9-728148e11f40.Test2 0000018468 0002 0001

$ sanlock direct dump /var/lib/libvirt/sanlock/7edb5b6820e56426339607637d18e871
  offset                            lockspace                                         resource  timestamp  own  gen lver
00000000                   __LIBVIRT__DISKS__                 7edb5b6820e56426339607637d18e871 0000017710 0001 0001 1
  1. 在Test2节点上运行虚拟机。

直接启动时，无法启动虚拟机：

$ virsh start test_sanlock
错误：开始域 test_sanlock 失败
错误：resource busy: 请求锁失败：错误 -243
  1. 关闭Test1节点上的虚拟机后，再次在Test2上启动虚拟机。
$ virsh start test_sanlock
域 test_sanlock 已开始

启动成功。

  • 查看锁信息：
$ sanlock direct dump /var/lib/libvirt/sanlock/__LIBVIRT__DISKS__
  offset                            lockspace                                         resource  timestamp  own  gen lver
00000000                   __LIBVIRT__DISKS__       322ee34a-aa6e-4224-971f-5612072ca6c0.Test1 0000018694 0001 0001
00000512                   __LIBVIRT__DISKS__       d9441ec2-e9a1-4657-add9-728148e11f40.Test2 0000018673 0002 0001

$ sanlock direct dump /var/lib/libvirt/sanlock/7edb5b6820e56426339607637d18e871
  offset                            lockspace                                         resource  timestamp  own  gen lver
00000000                   __LIBVIRT__DISKS__                 7edb5b6820e56426339607637d18e871 0000018630 0002 0001 2

磁盘的所有权已经被Test2获取。

  1. 再次再Test1上启动虚拟机。
$ virsh start test_sanlock
错误：开始域 test_sanlock 失败
错误：resource busy: 请求锁失败：错误 -243

启动失败，符合预期。

在共享存储的LVM卷上测试多个磁盘设备

创建libvirt的LVM存储池（Test1或Test2节点）

  • 创建存储池配置文件：
$ vi pool_sanlock.xml

<pool type="logical">
	<name>storage</name>
	<source>
		<device path="/dev/mapper/lvm"/>
	</source>
	<target>
	<path>/storage</path>
	</target>
</pool>
  • 定义存储池:
$ virsh pool-define pool_sanlock.xml

$ virsh pool-list --all
 名称               状态     自动开始
-------------------------------------------
 storage              不活跃  否
  • 构建存储池:
$ virsh pool-build storage
构建池 storage

$ vgdisplay
  --- Volume group ---
  VG Name               storage
  System ID             
  Format                lvm2
  Metadata Areas        1
  Metadata Sequence No  1
  VG Access             read/write
  VG Status             resizable
  MAX LV                0
  Cur LV                0
  Open LV               0
  Max PV                0
  Cur PV                1
  Act PV                1
  VG Size               100.00 GiB
  PE Size               4.00 MiB
  Total PE              25599
  Alloc PE / Size       0 / 0   
  Free  PE / Size       25599 / 100.00 GiB
  VG UUID               AC7lkm-ve65-Wy87-WTzU-BESp-tw2U-s0FviB
  • 启用存储池：
$ virsh pool-start storage
池 storage 已启动

$ pool-list --all
 名称               状态     自动开始
-------------------------------------------
 storage              活动     否
  • 任选一个节点创建卷：
$ virsh vol-create-as --pool storage --name test1 --capacity 500M
$ virsh vol-create-as --pool storage --name test2 --capacity 500M
$ virsh vol-create-as --pool storage --name test3 --capacity 500M
$ virsh vol-create-as --pool storage --name test4 --capacity 500M
  • 在另外的节点上更新LVM并激活卷：
$ pvscan --cache
$ lvchange -ay storage
  • 初始化系统卷：
$ dd if=cirros-0.3.4-x86_64-disk.img of=/dev/storage/test1
$ dd if=cirros-0.3.4-x86_64-disk.img of=/dev/storage/test2
$ dd if=cirros-0.3.4-x86_64-disk.img of=/dev/storage/test3
$ dd if=cirros-0.3.4-x86_64-disk.img of=/dev/storage/test4

创建虚拟机（Test1和Test2节点）

  • 创建test1_sanlock虚拟机：
$ vi test1_sanlock.xml

<domain type='kvm'>
    <name>test1_sanlock</name>
    <memory>262144</memory>
    <vcpu>1</vcpu>

    <os>
        <type arch='x86_64' machine='pc'>hvm</type>
        <boot dev='hd'/>
    </os>

    <devices>
        <disk type='file' device='disk'>
            <driver name='qemu' type='qcow2'/>
            <source file='/dev/storage/test1'/>
            <target dev='hda' bus='ide'/>
        </disk>
        <disk type='file' device='disk'>
            <driver name='qemu' type='qcow2'/>
            <source file='/dev/storage/test2'/>
            <target dev='hdb' bus='ide'/>
        </disk>
        <input type='tablet' bus='usb'/>
        <input type='mouse' bus='ps2'/>

        <graphics type='vnc' port='-1' listen = '0.0.0.0' autoport='yes' keymap='en-us'/>
    </devices>
</domain>
  • 创建test2_sanlock虚拟机：
$ vi test2_sanlock.xml

<domain type='kvm'>
    <name>test2_sanlock</name>
    <memory>262144</memory>
    <vcpu>1</vcpu>

    <os>
        <type arch='x86_64' machine='pc'>hvm</type>
        <boot dev='hd'/>
    </os>

    <devices>
        <disk type='file' device='disk'>
            <driver name='qemu' type='qcow2'/>
            <source file='/dev/storage/test3'/>
            <target dev='hda' bus='ide'/>
        </disk>
        <disk type='file' device='disk'>
            <driver name='qemu' type='qcow2'/>
            <source file='/dev/storage/test4'/>
            <target dev='hdb' bus='ide'/>
        </disk>
        <input type='tablet' bus='usb'/>
        <input type='mouse' bus='ps2'/>

        <graphics type='vnc' port='-1' listen = '0.0.0.0' autoport='yes' keymap='en-us'/>
    </devices>
</domain>
  • 定义两个虚拟机：
$ virt-xml-validate test1_sanlock.xml
test1_sanlock.xml validates

$ virt-xml-validate test2_sanlock.xml
test2_sanlock.xml validates

$ virsh define test1_sanlock.xml
定义域 test1_sanlock（从 test1_sanlock.xml）

$ virsh define test2_sanlock.xml
定义域 test2_sanlock（从 test2_sanlock.xml）

$ virsh list --all
 Id    名称                         状态
----------------------------------------------------
 -     test1_sanlock                  关闭
 -     test2_sanlock                  关闭
 -     test_sanlock                   关闭

运行虚拟机

  • 在Test1节点上运行这两个虚拟机：
$ virsh start test1_sanlock
域 test1_sanlock 已开始

$ virsh start test2_sanlock
域 test2_sanlock 已开始

启动成功。

  • 查看租约文件：
$ ll /var/lib/libvirt/sanlock/
-rw------- 1 sanlock sanlock 1048576 4月  20 19:55 1199371e4095b4aeb587631d5e61ea06
-rw------- 1 sanlock sanlock 1048576 4月  20 19:54 3f8518ff5358a6757f0a5918e3ec7be2
-rw------- 1 sanlock sanlock 1048576 4月  20 19:55 51d27a61a6a3dd58637b6e00bb719cae
-rw------- 1 sanlock sanlock 1048576 4月  20 19:54 6cfae8f6c4541a92e4aa52f14e9977a5
-rw------- 1 sanlock sanlock 1048576 4月  20 16:40 7edb5b6820e56426339607637d18e871
-rw-rw---- 1 sanlock sanlock 1048576 4月  20 19:56 __LIBVIRT__DISKS__
  • 查看锁信息：
$ sanlock direct dump /var/lib/libvirt/sanlock/__LIBVIRT__DISKS__
  offset                            lockspace                                         resource  timestamp  own  gen lver
00000000                   __LIBVIRT__DISKS__       322ee34a-aa6e-4224-971f-5612072ca6c0.Test1 0000030443 0001 0001
00000512                   __LIBVIRT__DISKS__       d9441ec2-e9a1-4657-add9-728148e11f40.Test2 0000030419 0002 0001

$ direct dump /var/lib/libvirt/sanlock/1199371e4095b4aeb587631d5e61ea06
  offset                            lockspace                                         resource  timestamp  own  gen lver
00000000                   __LIBVIRT__DISKS__                 1199371e4095b4aeb587631d5e61ea06 0000030379 0001 0001 1

$ sanlock direct dump /var/lib/libvirt/sanlock/3f8518ff5358a6757f0a5918e3ec7be2
  offset                            lockspace                                         resource  timestamp  own  gen lver
00000000                   __LIBVIRT__DISKS__                 3f8518ff5358a6757f0a5918e3ec7be2 0000030322 0001 0001 1

$ sanlock direct dump /var/lib/libvirt/sanlock/51d27a61a6a3dd58637b6e00bb719cae
  offset                            lockspace                                         resource  timestamp  own  gen lver
00000000                   __LIBVIRT__DISKS__                 51d27a61a6a3dd58637b6e00bb719cae 0000030379 0001 0001 1

$ sanlock direct dump /var/lib/libvirt/sanlock/6cfae8f6c4541a92e4aa52f14e9977a5
  offset                            lockspace                                         resource  timestamp  own  gen lver
00000000                   __LIBVIRT__DISKS__                 6cfae8f6c4541a92e4aa52f14e9977a5 0000030322 0001 0001 1

# 这个是/dev/mapper/raw的锁，目前运行在Test2节点上。
sanlock direct dump /var/lib/libvirt/sanlock/7edb5b6820e56426339607637d18e871
  offset                            lockspace                                         resource  timestamp  own  gen lver
00000000                   __LIBVIRT__DISKS__                 7edb5b6820e56426339607637d18e871 0000018630 0002 0001 2
  • 在Test2节点上运行两个虚拟机：
$ virsh start test1_sanlock
错误：开始域 test1_sanlock 失败
错误：resource busy: 请求锁失败：错误 -243

$ virsh start test2_sanlock
错误：开始域 test2_sanlock 失败
错误：resource busy: 请求锁失败：错误 -243

运行失败，符合预期。

总结

  • 所有libvirt的所有资源全部在__LIBVIRT__DISKS__这个Lockspace中，且一个磁盘文件对应一个锁，占用1M空间。

转载于:https://my.oschina.net/LastRitter/blog/1539257

weixin_34258782
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
libvirt-lock-sanlock-5.0.0-1.el7.x86_64.rpm
01-11
官方离线安装包，测试可用。使用rpm -ivh [rpm完整包名] 进行安装
oVirt锁定机制SANLock介绍
allway2的博客
10-28 1332
SANLock 介绍 sanlock守护程序管理具有共享存储的主机群集上运行的应用程序的租约。所有租赁管理和协调都是通过在共享存储上读写块来完成的。使用两种类型的租约，每种租约基于不同的算法： 增量租约的获取速度很慢，并且需要常规I / O才能共享存储。增量租赁存在于单个存储扇区中。获取增量租约涉及对该扇区的读取和写入，并通过特定的延迟将其分开。一旦获得租约，必须通过定期更新该部门的时间戳来...
sanlock 原理介绍及应用
如山石的系统虚拟化之路
11-04 3438
 介绍 sanlock 在分布式系统中，我们常常需要粗粒度的分布式锁。譬如，可以用锁来保证集群的领导节点的唯一性，或者用锁来同步对共享资源的使用。在这种场景下，分布式锁一般不会频繁的获取和释放，且一旦获得了锁，就会持有较长的时间。比如，集群的领导节点直到崩溃才需要重新选举，虚拟机的共享存储直到 Guest 关机才允许其他虚拟机使用。 sanlock 是一个基于 SAN 的分布式锁管理器。
分布式锁SanLock基本原理
weixin_33778778的博客
09-16 334
2019独角兽企业重金招聘Python工程师标准>>> ...
libvirt和SanLock中的租约配置
weixin_33973609的博客
09-19 169
2019独角兽企业重金招聘Python工程师标准>>> ...
augtool（1）-Linux手册页
allway2的博客
10-28 738
augtool（1）-Linux手册页 名称 augtool-检查和修改配置文件 概要 augtool [选项] [命令] 描述 Augeas是配置编辑工具。它以其本机格式解析配置文件，并将其转换为树。通过操作此树并将其保存回本机配置文件中，可以进行配置更改。 augtool为生成的树提供命令行界面。COMMAND可以是单个命令，如“命令”中所述。在不使用COMMAND的...
libvirt-lock-sanlock-4.10.0-1.el7.x86_64.rpm
01-11
官方离线安装包，测试可用。使用rpm -ivh [rpm完整包名] 进行安装
libvirt-lock-sanlock-4.9.0-1.el7.x86_64.rpm
01-11
官方离线安装包，测试可用。使用rpm -ivh [rpm完整包名] 进行安装
libvirt-lock-sanlock-4.5.0-36.el7.x86_64.rpm
01-11
官方离线安装包，测试可用。使用rpm -ivh [rpm完整包名] 进行安装
libvirt-lock-sanlock-4.3.0-1.el7.x86_64.rpm
01-11
官方离线安装包，测试可用。使用rpm -ivh [rpm完整包名] 进行安装
AugTool:扩充工具
03-28
AugTool 扩充工具
LVM锁服务lvmlockd分析
weixin_33872566的博客
09-12 2379
2019独角兽企业重金招聘Python工程师标准>>> ...
使用SanLock建立简单的HA服务
weixin_33827731的博客
09-17 254
2019独角兽企业重金招聘Python工程师标准>>> ...
LVM源码分析1-概览
weixin_33701294的博客
09-07 1605
2019独角兽企业重金招聘Python工程师标准>>> ...
ZStack技术介绍
最新发布
顺其自然~专栏
01-11 277
近年来随着互联网业务的迅速发展以及新兴业务激增，业务数据呈现几何倍数增加，传统服务器+存储的竖井式架构已无法很好满足业务发展需求，分布式、云化技术应运而生。越来越多企业采用虚拟化与云计算技术来构建IT系统，提升IT系统的资源利用率以及缩短业务上线周期。但在应用过程中，企业面临如下挑战：1）系统庞大，管理复杂，运维费用持续走高。2）安装部署复杂，硬件来自多厂商，规划、部署、调优需要丰富的经验支撑。3）多厂商设备，售后支持界面多，解决问题慢。
libvirt使用sanlock做磁盘锁
Nicholas的专栏
03-24 658
前言 sanlock是redhat基于Paxos协议实现的分布式锁管理器。用来在不同主机之间保证进程能够单活。在libvirt中可以配置使用sanlock来保证虚拟机单活，即我们常说的防脑裂功能。网上大都有sanlock的原理介绍，可以参考sanlock 原理介绍及应用本文就不在详述了。这里从sanlock的使用方式以及libvirt的使用方式来揭秘libvirt如何sanlock的。 san...
分布式环境中使用基于共享存储的LVM块设备时的元数据同步方案对比
weixin_33735077的博客
09-22 838
2019独角兽企业重金招聘Python工程师标准>>> ...
Libvirt使用sanlock错误记录
木简熙的博客
04-11 570
1.error: error: Failed to create domain from test_sanlock.xml error: internal error: Process exited prior to exec: libvirt: Lock Driver error : Unable to query sector size /var/lib/libvirt...
libvirt和SanLock中的续约失败测试
weixin_33736048的博客
09-19 912
2019独角兽企业重金招聘Python工程师标准>>> ...
怎么在java项目中使用libvirt
06-09
在Java项目中使用libvirt，可以参考以下步骤： 1. 下载并安装libvirt的开发包和C语言开发环境。可以从libvirt官方网站下载对应版本的libvirt开发包，然后安装到本地系统中。 2. 安装并配置Java Native Access库...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值