rac/rac one node扩容

某现场部署的cDAS RAC Onde Node超融合架构，2个计算/存储节点，1台仲裁节点

现网架构：

随着业务量增加，准备把仲裁节点加以利用，添加到融合节点的计算存储集群当中，与另外两个融合节点组成三节点的计算存储集群

改造后的架构：

一、配置仲裁节点（第三个计算/存储节点）为存储节点

整个过程只有17步rebalance可能会影响现网的负载，其他都不会影响

主机	ip	ib0	ib1
msc1db1	10.10.236.94	10.100.14.1	10.100.15.1
msc1db2	10.10.236.95	10.100.14.2	10.100.15.2
msc1db3	10.10.236.96	10.100.14.3	10.100.15.3

1、按照集成标准文档安装各种依赖包、配置参数、安装服务等

参考登录 · 集成知识空间

安装ib驱动、ISE包、iscsi包、iSCSI-Discovery包

rpm -ivh IRE-ISE-3.0-20220208.el8u4.x86_64.rpm

rpm -ivh ISE-Service-1.0.0-0.x86_64.rpm

rpm -ivh scan_ise_disk-1.0.0-0.x86_64.rpm

2、配置ib网卡

[root@msc1db3 network-scripts]# cat ifcfg-ib0

TYPE=InfiniBand

BOOTPROTO=static

NAME=ib0

DEVICE=ib0

ONBOOT=yes

IPADDR=10.100.14.3

NETMASK=255.255.255.0

[root@msc1db3 network-scripts]# cat ifcfg-ib1

TYPE=InfiniBand

BOOTPROTO=static

NAME=ib1

DEVICE=ib1

ONBOOT=yes

IPADDR=10.100.15.3

NETMASK=255.255.255.0

3、仲裁节点已有的crs的iqn修改为iser协议

原有的crs仲裁节点对应的仲裁盘是tcp协议，此次整改为存储节点需要改为iser协议

（1）offline crs01磁盘组的fg03（一个节点执行）

检查下当前votedisk配置，保证有3块盘：

crsctl query css votedisk

alter diskgroup crs01 offline disks in failgroup CRSFG03;

（2）把仲裁节点的iqn logout（两个计算执行）

iscsiadm -m node

iscsiadm -m node -T iqn.2022-00.ire.drdb-cluster.crs311 -u

（3）仲裁节点的iqn删除

因为此前的crs03可能是建到vg00上的lv，要将原来的iqn和lv删除

targetcli iscsi/ delete wwn=iqn.2022-00.ire.drdb-cluster.crs311

targetcli saveconfig

（4）仲裁节点新建crs的pv、vg、lv和iqn

新加crs盘的话因为3个节点完全一致，要参考已有的两个节点创建到新加盘上，步骤参考：

lvcreate -L 100g -n lvccdata315 vg00

targetcli backstores/block/ create lvccdata315 /dev/vg00/lvccdata315

targetcli iscsi/ create wwn=iqn.2022-00.ire.drdb-cluster.ccdata315

targetcli iscsi/iqn.2022-00.ire.drdb-cluster.ccdata315/tpg1/luns create /backstores/block/lvccdata315

targetcli iscsi/iqn.2022-00.ire.drdb-cluster.ccdata315/tpg1/portals create 10.100.14.3

targetcli iscsi/iqn.2022-00.ire.drdb-cluster.ccdata315/tpg1/portals create 10.100.15.3

targetcli iscsi/iqn.2022-00.ire.drdb-cluster.ccdata315/tpg1/portals/10.100.14.3:3260 enable_iser boolean=true

targetcli iscsi/iqn.2022-00.ire.drdb-cluster.ccdata315/tpg1/portals/10.100.15.3:3260 enable_iser boolean=true

targetcli iscsi/iqn.2022-00.ire.drdb-cluster.ccdata315/tpg1/ set attribute authentication=0 demo_mode_write_protect=0 generate_node_acls=1

targetcli saveconfig

（5）在已有的计算节点重新发现并login新建的iqn（两个计算执行）

iscsi_discovery 10.100.14.3 -t iser

iscsi_discovery 10.100.15.3 -t iser

iscsiadm -m node

iscsiadm -m node -T iqn.2022-00.ire.drdb-cluster.crs311 -l

（6）修改multipath.conf（两个计算执行）

已有的仲裁节点的crs multipath的配置因为对应的盘已改变，需要修改multipath.conf中的wwid

并reload multipathd服务

（7）restart udev服务（两个计算执行）

systemctl restart systemd-udev-trigger.service

（8）将crs01磁盘组恢复（一个计算执行）

alter diskgroup crs01 online disks in failgroup CRSFG03;

重新检查votedisk:

crsctl query css votedisk

4、按照cdas超融合的规划数据划分仲裁节点的pv、vg、lv

测试机器没有多余的盘，只在vg00添加了一个盘作为测试

（可参考登录 · 集成知识空间）

lvcreate -L 100g -n lvccdata315 vg00