RAC/RAC One Node 修改私网/心跳网卡名

cDAS RAC/RAC One Node一般采用ib ip作为私网/心跳ip，有些现场可能会有修改心跳/私网网卡的需求，一般修改网卡也会伴随修改心跳/私网ip的需求。若心跳/私网有高可用，可以一个个修改。

场景1：心跳网卡有高可用

原心跳网卡名	原心跳网卡协议	原心跳网卡网段	现心跳网卡名	现心跳网卡协议	现心跳网卡网段
enp94s0f0	以太--Ethernet	10.100.14.0	ib0	ib--InfiniBand	10.100.14.0
enp94s0f1	以太--Ethernet	10.100.15.0	ib1	ib-InfiniBand	10.100.15.0

1、ib卡修改以太协议为ib协议

mst start

--查询原有的协议

mlxconfig -d /dev/mst/mt4119_pciconf0 query | grep -i link_type

 --根据自己的要求选择P1还是P2，P1表示port1，P2表示port2。等于1表示IB，等于2表示以太

mlxconfig -d /dev/mst/mt4119_pciconf0 set LINK_TYPE_P1=1

--再次检查

mlxconfig -d /dev/mst/mt4119_pciconf0 query | grep -i link_type

 端口1已修改为IB协议，但需要重启主机生效（暂不重启）

2、备份当前ocr配置

/grid/product/19c/bin/ocrconfig -local -manualbackup

/grid/product/19c/bin/ocrconfig -local -showbackup

3、提前检查配置

--查询votedisk配置

crsctl query css votedisk

rac crs磁盘组若为normal，crs磁盘组有3个FG的话，votedisk应也有3个，若少于3个，需检查是否有掉盘

 --查询是否有掉盘

col path for a40

col name for a20

col MOUNT_STATUS for a15

set lines 400 pages 9999 long 9999

select path,b.name,a.name,a.MOUNT_STATUS,failgroup from v$asm_disk a,v$asm_diskgroup b where a.GROUP_NUMBER=b.GROUP_NUMBER order by failgroup, b.name,path;

--查询multipath是否都有双活

multipath -ll

4、将下列配置添加到/etc/sysctl.conf中

net.ipv4.conf.ib0.rp_filter = 2

5、配置ifcfg-ib0

root@msc1db2[/etc/sysconfig/network-scripts]# cat ifcfg-ib0

TYPE=InfiniBand

BOOTPROTO=static

NAME=ib0

DEVICE=ib0

ONBOOT=yes

IPADDR=10.100.14.2

NETMASK=255.255.255.0

6、将一个心跳/私网网卡删除

--删除前的配置

oifcfg getif

srvctl config listener -asmlistener

srvctl config asmnetwork

--删除asm监听

grid:

srvctl update listener -listener ASMNEW1LSNR_ASM -asm -remove -force

--删除asmnetwork（19c才有，19c之前可忽略）

root（这个netnum要确认好是1还是2）:

/grid/product/19c/bin/srvctl remove asmnetwork -netnum 1 -f

--删除一个私网网卡

grid:

/grid/product/19c/bin/oifcfg delif -global enp94s0f0

--删除后的配置

oifcfg getif

srvctl config listener -asmlistener

srvctl config asmnetwork

srvctl config asm

 grid下的listener.ora会自动更新

 7、重启节点使修改协议生效

先重启一个节点，等待重启完成，将所有掉盘恢复（有掉盘的话votedisk也不再是3个）

 select 'alter diskgroup ' ||name ||' online all;' from v$asm_diskgroup;

执行select出来的所有online all命令，等待rebalance结束，votedisk恢复为3个，再重启另一个节点

8、添加新的心跳网卡

grid:

/grid/product/19c/bin/oifcfg setif -global ib0/10.100.14.0:cluster_interconnect,asm

srvctl add listener -asmlistener -l ASMNEW1LSNR_ASM -subnet 10.100.14.0

srvctl start listener -l ASMNEW1LSNR_ASM

root:

/grid/product/19c/bin/srvctl add asmnetwork -netnum 1 -subnet 10.100.14.0

/grid/product/19c/bin/srvctl start asmnetwork -netnum 1

9、检查新的配置

oifcfg getif

srvctl config listener -asmlistener

srvctl config asmnetwork

srvctl config asm

10、另一个心跳网卡替换

按照1-9的 步骤对另一个心跳网卡进行类似替换

11、重启集群

场景2：心跳网卡只有一个

此种情况下采用先添加新的心跳网卡，最后删除旧网卡的方式进行替换

原心跳网卡名	原心跳网卡网段	现心跳网卡名	现心跳网卡网段
eth0	192.168.0.0	eth0	192.168.10.0
eth0	192.168.0.0	eth0	192.168.10.0

1、检查当前配置

oifcfg getif

crsctl stat res -t

srvctl config listener -asmlistener

srvctl config asmnetwork

2、备份当前配置

ocrconfig -manualbackup

3、添加新网卡和asm监听

oifcfg setif -global eth0/192.68.10.0:cluster_interconnect,asm

srvctl add listener -asmlistener -l ASMNEWLSNR_ASM -subnet 192.168.10.0

srvctl add asmnetwork -netnum 1 -subnet （19c）

4、删除asm监听和asmnetwork

srvctl update listener -listener ASMLSNR_ASM -asm -remove -force

srvctl remove asmnetwork -netnum 1

5、多个节点重启crs

crsctl stop crs

ifconfig -a --保证新的心跳ip起来

crsctl start crs

6、删除旧心跳网卡

oifcfg delif -global eth0/192.168.0.0

7、检查配置

oifcfg getif

crsctl stat res -t

srvctl config listener -asmlistener

srvctl config asmnetwork

参考文档：

Doc ID 283684.1