某现场部署的cDAS RAC Onde Node超融合架构,2个计算/存储节点,1台仲裁节点
现网架构:
随着业务量增加,准备把仲裁节点加以利用,添加到融合节点的计算存储集群当中,与另外两个融合节点组成三节点的计算存储集群
改造后的架构:
一、配置仲裁节点(第三个计算/存储节点)为存储节点
整个过程只有17步rebalance可能会影响现网的负载,其他都不会影响
主机 |
ip |
ib0 |
ib1 |
msc1db1 |
10.10.236.94 |
10.100.14.1 |
10.100.15.1 |
msc1db2 |
10.10.236.95 |
10.100.14.2 |
10.100.15.2 |
msc1db3 |
10.10.236.96 |
10.100.14.3 |
10.100.15.3 |
1、按照集成标准文档安装各种依赖包、配置参数、安装服务等
安装ib驱动、ISE包、iscsi包、iSCSI-Discovery包
rpm -ivh IRE-ISE-3.0-20220208.el8u4.x86_64.rpm
rpm -ivh ISE-Service-1.0.0-0.x86_64.rpm
rpm -ivh scan_ise_disk-1.0.0-0.x86_64.rpm
2、配置ib网卡
[root@msc1db3 network-scripts]# cat ifcfg-ib0
TYPE=InfiniBand
BOOTPROTO=static
NAME=ib0
DEVICE=ib0
ONBOOT=yes
IPADDR=10.100.14.3
NETMASK=255.255.255.0
[root@msc1db3 network-scripts]# cat ifcfg-ib1
TYPE=InfiniBand
BOOTPROTO=static
NAME=ib1
DEVICE=ib1
ONBOOT=yes
IPADDR=10.100.15.3
NETMASK=255.255.255.0
3、仲裁节点已有的crs的iqn修改为iser协议
原有的crs仲裁节点对应的仲裁盘是tcp协议,此次整改为存储节点需要改为iser协议
(1)offline crs01磁盘组的fg03(一个节点执行)
检查下当前votedisk配置,保证有3块盘:
crsctl query css votedisk
alter diskgroup crs01 offline disks in failgroup CRSFG03;
(2)把仲裁节点的iqn logout(两个计算执行)
iscsiadm -m node
iscsiadm -m node -T iqn.2022-00.ire.drdb-cluster.crs311 -u
(3)仲裁节点的iqn删除
因为此前的crs03可能是建到vg00上的lv,要将原来的iqn和lv删除
targetcli iscsi/ delete wwn=iqn.2022-00.ire.drdb-cluster.crs311
targetcli saveconfig
(4)仲裁节点新建crs的pv、vg、lv和iqn
新加crs盘的话因为3个节点完全一致,要参考已有的两个节点创建到新加盘上,步骤参考:
lvcreate -L 100g -n lvccdata315 vg00
targetcli backstores/block/ create lvccdata315 /dev/vg00/lvccdata315
targetcli iscsi/ create wwn=iqn.2022-00.ire.drdb-cluster.ccdata315
targetcli iscsi/iqn.2022-00.ire.drdb-cluster.ccdata315/tpg1/luns create /backstores/block/lvccdata315
targetcli iscsi/iqn.2022-00.ire.drdb-cluster.ccdata315/tpg1/portals create 10.100.14.3
targetcli iscsi/iqn.2022-00.ire.drdb-cluster.ccdata315/tpg1/portals create 10.100.15.3
targetcli iscsi/iqn.2022-00.ire.drdb-cluster.ccdata315/tpg1/portals/10.100.14.3:3260 enable_iser boolean=true
targetcli iscsi/iqn.2022-00.ire.drdb-cluster.ccdata315/tpg1/portals/10.100.15.3:3260 enable_iser boolean=true
targetcli iscsi/iqn.2022-00.ire.drdb-cluster.ccdata315/tpg1/ set attribute authentication=0 demo_mode_write_protect=0 generate_node_acls=1
targetcli saveconfig
(5)在已有的计算节点重新发现并login新建的iqn(两个计算执行)
iscsi_discovery 10.100.14.3 -t iser
iscsi_discovery 10.100.15.3 -t iser
iscsiadm -m node
iscsiadm -m node -T iqn.2022-00.ire.drdb-cluster.crs311 -l
(6)修改multipath.conf(两个计算执行)
已有的仲裁节点的crs multipath的配置因为对应的盘已改变,需要修改multipath.conf中的wwid
并reload multipathd服务
(7)restart udev服务(两个计算执行)
systemctl restart systemd-udev-trigger.service
(8)将crs01磁盘组恢复(一个计算执行)
alter diskgroup crs01 online disks in failgroup CRSFG03;
重新检查votedisk:
crsctl query css votedisk
4、按照cdas超融合的规划数据划分仲裁节点的pv、vg、lv
测试机器没有多余的盘,只在vg00添加了一个盘作为测试
(可参考登录 · 集成知识空间)
lvcreate -L 100g -n lvccdata315 vg00