基于rbd+iscsi+corosync+pacemaker高可用nfs

最新推荐文章于 2021-08-23 17:07:07 发布

weixin_34212762

最新推荐文章于 2021-08-23 17:07:07 发布

阅读量254

点赞数

文章标签： python

原文链接：https://my.oschina.net/hanhanztj/blog/475359

版权

2019独角兽企业重金招聘Python工程师标准>>>

一、软件安装

1.1一键安装包地址

1.2配置ntp(略)

1.3配置hosts(略)

1.4配置双机互信(略)

二、配置corosync

2.1 corosync配置文件（两台）

# mv /etc/corosync/corosync.conf.example /etc/corosync/corosync.conf
# vi /etc/corosync/corosync.conf
# Please read the corosync.conf.5 manual page
compatibility: whitetank
totem {
version: 2
secauth: off
threads: 0
interface {
ringnumber: 0
bindnetaddr: 192.168.1.104 
mcastaddr: 226.94.1.1
mcastport: 5405
ttl: 1
}
}
logging {
fileline: off
to_stderr: no
to_logfile: yes
to_syslog: yes
logfile: /var/log/cluster/corosync.log
debug: off
timestamp: on
logger_subsys {
subsys: AMF
debug: off
}
}
amf {
mode: disabled
}
service {
ver: 0
name: pacemaker
}
aisexec {
user: root
group: root
}

Bindnetaddr 为节点ip
Mcastaddr 为合法的组播地址，随便填
2.2生成密钥文件
（先一台，再拷贝到另一台）
说明：对于corosync而言，各节点之间通信需要安全认证，所以需要安全密钥，生成后会自动保存至当前目录下，命名为authkey，权限为400。

# cd /etc/corosync
# corosync-keygen
# ll
-rw-------. 1 root root 128 6月 11 19:18 authkey
-rw-r--r--. 1 root root 509 6月 11 19:54 corosync.conf
-rw-r--r--. 1 root root 445 11月 22 2013 corosync.conf.example
-rw-r--r--. 1 root root 1084 11月 22 2013 corosync.conf.example.udpu
drwxr-xr-x. 2 root root 4096 11月 22 2013 service.d

2.3 authkey拷贝到另一个节点

scp authkey 192.168.1.105:/etc/corosync

2.4启动corosync

# service corosync start

（目的是因为只有2个节点，忽略法定票数）

# crm configure property stonith-enabled=false # crm configure property no-quorum-policy=ignore

2.6查看节点状态
（都online就ok）

# crm_mon -1
Last updated: Fri May 22 15:56:37 2015
Last change: Fri May 22 13:09:33 2015 via crmd on H04
Stack: classic openais (with plugin)
Current DC: H04 - partition with quorum
Version: 1.1.10-14.el6-368c726
2 Nodes configured, 2 expected votes
0 Resources configured
Online: [ H04 H05 ]

三、Pacemaker资源配置

（只需主节点配置）
说明: Pacemaker主要管理资源，本实验中为了搭建实现基于rbd+scsi+nfs的共享，所以会对rbd map 、mount 、nfs-export、vip等资源进行管理。简而言之，自动管理rbd到nfs每个操作步骤。

3.1 scsi tgt配置（两台一样）

# service tgtd start
# vi /etc/tgt/targets.conf
<target iqn.2015-05.rbdstore.example.com:iscsi>
driver iscsi
bs-type rbd
backing-store rbd/img02 # <iscsi-pool>/<iscsi-rbd-image>
</target>
# service tgtd reload

注：rbd img创建命令
# rbd create rbd/img02 --size 10240 --stripe-unit 65536 --stripe-count 16 --image-format 2 //有条带的
# rbd create rbd/img02 –-size 10240 //无条带

# iscsiadm -m discovery -t sendtargets -p localhost //发现设备
# iscsiadm -m node -T iqn.2015-05.rbdstore.com:iscsi –l –p localhost
Logging in to [iface: default, target: iqn.2015-04.rbdstore.example.com:iscsi, portal: ::1,3260] (multiple)
Login to [iface: default, target: iqn.2015-04.rbdstore.example.com:iscsi, portal: ::1,3260] successful.
# fdisk –l //查看设备，找到多出来的设备
Disk /dev/sdb: 1073 MB, 1073741824 bytes
34 heads, 61 sectors/track, 1011 cylinders
Units = cylinders of 2074 * 512 = 1061888 bytes
Sector size (logical/physical): 512 bytes / 4194304 bytes
I/O size (minimum/optimal): 4194304 bytes / 4194304 bytes
Disk identifier: 0x00000000
# mkfs.xfs /dev/sdb
# iscsiadm -m node -T iqn.2015-05.rbdstore.com:iscsi –-logout

备注：3.2步骤的目的是为在rbd-tgt设备中写入文件系统。后续做自动化脚本

3.3 pacemaker配置

除了步骤3.3.1在两台执行，其他步骤都只在一台

3.3.1 创建挂载点

提前创建好共享目录(这里用uuid，其他也可)

/mnt/ f462234b-bf5a-4e9c-969c-09596ad14afc
备注：查看uuid

# blkid
/dev/mapper/vg_00-lvroot: UUID="186c6608-98ec-4584-9208-3053879d01bd" TYPE="ext4" 
/dev/sda1: UUID="6e8a54ab-1053-4c71-9df0-9ce51b70b2ac" TYPE="ext4" 
/dev/sda2: UUID="q9g11Q-BF1k-b11a-dkV5-sttO-ibu0-091Z8u" TYPE="LVM2_member" 
/dev/sda3: UUID="575bbe16-ac4e-4d26-adfc-353c66f7ab43" TYPE="xfs" 
/dev/sdb: UUID="f462234b-bf5a-4e9c-969c-09596ad14afc" TYPE="xfs"
# mkdir /usr/lib/ocf/resource.d/ceph
# cd /usr/lib/ocf/resource.d/ceph/
# chmod + rbd.in
将iscsi 设备自定义监控脚本f部署在两台机器上
# mkdir /usr/lib/ocf/resource.d/tgtmap
# cd /usr/lib/ocf/resource.d/tgtmap/
# chmod + iscsi.in

3.3.2配置 iscsi-tartget map

(可以用crm configure edit命令直接copy下面内容)

primitive p_scsi_map_1 ocf:tgtmap:iscsi.in \ params tgt_name="iqn.2015-05.rbdstore.com:iscsi" tgt_ip=localhost \ op monitor interval=5

3.3.3 mount 文件系统

primitive p_fs_rbd_1 Filesystem \
params directory="/mnt/f462234b-bf5a-4e9c-969c-09596ad14afc" fstype=xfs device="-U f462234b-bf5a-4e9c-969c-09596ad14afc" fast_stop=no \
op monitor interval=20s timeout=40s \
op start interval=0 timeout=60s \
op stop interval=0 timeout=60s

3.3.4 nfs-export

primitive p_export_rbd_1 exportfs \
params directory="/mnt/f462234b-bf5a-4e9c-969c-09596ad14afc " clientspec="192.168.0.0/24" options="rw,async,no_subtree_check,no_root_squash" fsid=1 \
op monitor interval=10s timeout=20s \

3.3.5 VIP 配置

primitive p_vip_1 IPaddr \
params ip=192.168.1.123 cidr_netmask=24 \
op monitor interval=5

3.3.6 nfs 服务配置

primitive p_rpcbind lsb:rpcbind \
op monitor interval=10s timeout=30s
primitive p_nfs_server lsb:nfs \
op monitor interval=10s timeout=30s

3.3.7 资源组配置

group g_nfs p_rpcbind p_nfs_server
group g_rbd_share_1 p_scsi_map_1 p_fs_rbd_1 p_export_rbd_1 p_vip_1
clone clo_nfs g_nfs \
meta globally-unique="false" target-role="Started"

3.3.8 资源定位规则

location l_g_rbd_share_1 g_rbd_share_1 inf: H04

四、测试

4.1 查看资源监控状态

# crm_mon -1

4.2其他主机查看挂载点（通过虚拟Ip）

# showmount -e 192.168.1.123
Export list for 192.168.1.123:
/mnt/f462234b-bf5a-4e9c-969c-09596ad14afc 192.168.0.0/24

转载于:https://my.oschina.net/hanhanztj/blog/475359