Oracle11gR2RAC单网卡转双网卡

####背景
20160322 搭建生产环境的时候RHEL6u5 11GRAC HDS 存储
em0 em1 为bond0 为服务IP,只用了em3 为心跳IP,现将em3 em4绑定为bond1 为心跳IP
在数据库RAC没有停止的情况下作操作,先加后删除




###备份 votedisk 
[root@jkddgldb1 bin]# ./crsctl query css votedisk
##  STATE    File Universal Id                File Name Disk group
--  -----    -----------------                --------- ---------
 1. ONLINE   865cc9f88a894fe4bf07739439f13799 (/dev/sddlmba) [OCRVOTE]
 2. ONLINE   afa955c78a4e4fb4bfcf3b20545b00e0 (/dev/sddlmbb) [OCRVOTE]
 3. ONLINE   7c9c69ba1f954ffebfc959b3170f4f4e (/dev/sddlmbc) [OCRVOTE]
Located 3 voting disk(s).
[root@jkddgldb1 bin]# dd if=/dev/sddlmba of=/tmp/voting_disk.bak
记录了6291456+0 的读入
记录了6291456+0 的写出
3221225472字节(3.2 GB)已复制，19.8674 秒，162 MB/秒


#备份OCR
[root@jkddgldb1 bin]# ./ocrconfig -export /tmp/ocr.exp
[root@jkddgldb1 bin]# ls -l /tmp/ocr.exp 
-rw------- 1 root root 121792 3月  23 15:55 /tmp/ocr.exp
[root@jkddgldb1 bin]# ls -l /tmp/voting_disk.bak 
-rw-r--r-- 1 root root 3221225472 3月  23 15:54 /tmp/voting_disk.bak


#查看状态
[root@jkddgldb1 bin]# ./crsctl status res -t
--------------------------------------------------------------------------------
NAME           TARGET  STATE        SERVER                   STATE_DETAILS       
--------------------------------------------------------------------------------
Local Resources
--------------------------------------------------------------------------------
ora.DATA1.dg
               ONLINE  ONLINE       jkddgldb1                                    
               ONLINE  ONLINE       jkddgldb2                                    
ora.DATA2.dg
               ONLINE  ONLINE       jkddgldb1                                    
               ONLINE  ONLINE       jkddgldb2                                    
ora.LISTENER.lsnr
               ONLINE  ONLINE       jkddgldb1                                    
               ONLINE  ONLINE       jkddgldb2                                    
ora.OCRVOTE.dg
               ONLINE  ONLINE       jkddgldb1                                    
               ONLINE  ONLINE       jkddgldb2                                    
ora.asm
               ONLINE  ONLINE       jkddgldb1                Started             
               ONLINE  ONLINE       jkddgldb2                Started             
ora.gsd
               OFFLINE OFFLINE      jkddgldb1                                    
               OFFLINE OFFLINE      jkddgldb2                                    
ora.net1.network
               ONLINE  ONLINE       jkddgldb1                                    
               ONLINE  ONLINE       jkddgldb2                                    
ora.ons
               OFFLINE OFFLINE      jkddgldb1                                    
               OFFLINE OFFLINE      jkddgldb2                                    
ora.registry.acfs
               ONLINE  ONLINE       jkddgldb1                                    
               ONLINE  ONLINE       jkddgldb2                                    
--------------------------------------------------------------------------------
Cluster Resources
--------------------------------------------------------------------------------
ora.LISTENER_SCAN1.lsnr
      1        ONLINE  ONLINE       jkddgldb1                                    
ora.cvu
      1        ONLINE  ONLINE       jkddgldb1                                    
ora.dbsweet.db
      1        OFFLINE OFFLINE                               Instance Shutdown   
      2        OFFLINE OFFLINE                               Instance Shutdown   
ora.jkddgldb1.vip
      1        ONLINE  ONLINE       jkddgldb1                                    
ora.jkddgldb2.vip
      1        ONLINE  ONLINE       jkddgldb2                                    
ora.oc4j
      1        ONLINE  ONLINE       jkddgldb2                                    
ora.scan1.vip
      1        ONLINE  ONLINE       jkddgldb1                                    




[root@jkddgldb1 bin]# ./crs_stat -t
Name           Type           Target    State     Host        
------------------------------------------------------------
ora.DATA1.dg   ora....up.type ONLINE    ONLINE    jkddgldb1   
ora.DATA2.dg   ora....up.type ONLINE    ONLINE    jkddgldb1   
ora....ER.lsnr ora....er.type ONLINE    ONLINE    jkddgldb1   
ora....N1.lsnr ora....er.type ONLINE    ONLINE    jkddgldb1   
ora.OCRVOTE.dg ora....up.type ONLINE    ONLINE    jkddgldb1   
ora.asm        ora.asm.type   ONLINE    ONLINE    jkddgldb1   
ora.cvu        ora.cvu.type   ONLINE    ONLINE    jkddgldb1   
ora.dbsweet.db ora....se.type OFFLINE   OFFLINE               
ora.gsd        ora.gsd.type   OFFLINE   OFFLINE               
ora....SM1.asm application    ONLINE    ONLINE    jkddgldb1   
ora....B1.lsnr application    ONLINE    ONLINE    jkddgldb1   
ora....db1.gsd application    OFFLINE   OFFLINE               
ora....db1.ons application    OFFLINE   OFFLINE               
ora....db1.vip ora....t1.type ONLINE    ONLINE    jkddgldb1   
ora....SM2.asm application    ONLINE    ONLINE    jkddgldb2   
ora....B2.lsnr application    ONLINE    ONLINE    jkddgldb2   
ora....db2.gsd application    OFFLINE   OFFLINE               
ora....db2.ons application    OFFLINE   OFFLINE               
ora....db2.vip ora....t1.type ONLINE    ONLINE    jkddgldb2   
ora....network ora....rk.type ONLINE    ONLINE    jkddgldb1   
ora.oc4j       ora.oc4j.type  ONLINE    ONLINE    jkddgldb2   
ora.ons        ora.ons.type   OFFLINE   OFFLINE               
ora....ry.acfs ora....fs.type ONLINE    ONLINE    jkddgldb1   
ora.scan1.vip  ora....ip.type ONLINE    ONLINE    jkddgldb1   




###查看网卡网卡信息
[root@jkddgldb1 bin]# ./oifcfg getif
em3  192.168.1.0  global  cluster_interconnect
bond0  10.64.51.0  global  public


###在线更改em3 将em3+em4 绑定为bond1 作为心跳IP
[root@jkddgldb1 network-scripts]# more ifcfg-bond1
DEVICE=bond1
BOOTPROTO=none
NM_CONTROLLED=no
IPADDR=192.168.1.6
NETMASK=255.255.255.0
ONBOOT=yes
TYPE=Ethernet
#BONDING_OPTS="mode=0 miimon=200" 
IPV6INIT=no
USERCTL=no
[root@jkddgldb1 network-scripts]# more ifcfg-em3 
DEVICE=em3
HWADDR=14:18:77:3c:e9:ce
USERCTL=no
BOOTPROTO=none
ONBOOT=yes
MASTER=bond1
SLAVE=yes
[root@jkddgldb1 network-scripts]# more ifcfg-em4
DEVICE=em4
HWADDR=14:18:77:3C:E9:CF
USERCTL=no
BOOTPROTO=none
ONBOOT=yes
MASTER=bond1
SLAVE=yes


修改modprobe文件
echo "alias bond0 bonding"               >> /etc/modprobe.d/dist.conf
echo "options bonding max_bonds=2"       >> /etc/modprobe.d/dist.conf
echo "options bond0 miimon=100 mode=1"   >> /etc/modprobe.d/dist.conf


修改rc.local
#修改rc.local文件
echo "ifenslave bond1 em3 em1" >>  /etc/rc.d/rc.local


#重启network服务
service network restart


##查看地址信息 注意bond1
[root@jkddgldb1 bin]# ifconfig  -a| more
bond0     Link encap:Ethernet  HWaddr 14:18:77:3C:E9:CC  
          inet addr:10.64.51.6  Bcast:10.64.51.15  Mask:255.255.255.240
          inet6 addr: fe80::1618:77ff:fe3c:e9cc/64 Scope:Link
          UP BROADCAST RUNNING MASTER MULTICAST  MTU:1500  Metric:1
          RX packets:565 errors:0 dropped:0 overruns:0 frame:0
          TX packets:126 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:0 
          RX bytes:42538 (41.5 KiB)  TX bytes:22016 (21.5 KiB)


bond1     Link encap:Ethernet  HWaddr 14:18:77:3C:E9:CE  
          inet addr:192.168.1.6  Bcast:192.168.1.255  Mask:255.255.255.0
          inet6 addr: fe80::1618:77ff:fe3c:e9ce/64 Scope:Link
          UP BROADCAST RUNNING MASTER MULTICAST  MTU:1500  Metric:1
          RX packets:569 errors:0 dropped:0 overruns:0 frame:0
          TX packets:630 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:0 
          RX bytes:239316 (233.7 KiB)  TX bytes:644741 (629.6 KiB)


em1       Link encap:Ethernet  HWaddr 14:18:77:3C:E9:CC  
          UP BROADCAST RUNNING SLAVE MULTICAST  MTU:1500  Metric:1
          RX packets:356 errors:0 dropped:0 overruns:0 frame:0
          TX packets:126 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:1000 
          RX bytes:29012 (28.3 KiB)  TX bytes:22016 (21.5 KiB)
          Interrupt:35 


em2       Link encap:Ethernet  HWaddr 14:18:77:3C:E9:CC  
          UP BROADCAST RUNNING SLAVE MULTICAST  MTU:1500  Metric:1
          RX packets:209 errors:0 dropped:0 overruns:0 frame:0
          TX packets:0 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:1000 
          RX bytes:13526 (13.2 KiB)  TX bytes:0 (0.0 b)
          Interrupt:38 


em3       Link encap:Ethernet  HWaddr 14:18:77:3C:E9:CE  
          UP BROADCAST RUNNING SLAVE MULTICAST  MTU:1500  Metric:1
          RX packets:382 errors:0 dropped:0 overruns:0 frame:0
          TX packets:630 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:1000 
          RX bytes:227238 (221.9 KiB)  TX bytes:644741 (629.6 KiB)
          Interrupt:34 


em3:1     Link encap:Ethernet  HWaddr 14:18:77:3C:E9:CE  
          inet addr:169.254.234.222  Bcast:169.254.255.255  Mask:255.255.0.0
          UP BROADCAST RUNNING SLAVE MULTICAST  MTU:1500  Metric:1
          Interrupt:34 


em4       Link encap:Ethernet  HWaddr 14:18:77:3C:E9:CE  
          UP BROADCAST RUNNING SLAVE MULTICAST  MTU:1500  Metric:1
          RX packets:187 errors:0 dropped:0 overruns:0 frame:0
          TX packets:0 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:1000 
          RX bytes:12078 (11.7 KiB)  TX bytes:0 (0.0 b)
          Interrupt:36 


lo        Link encap:Local Loopback  
          inet addr:127.0.0.1  Mask:255.0.0.0
          inet6 addr: ::1/128 Scope:Host
          UP LOOPBACK RUNNING  MTU:16436  Metric:1
          RX packets:404386 errors:0 dropped:0 overruns:0 frame:0
          TX packets:404386 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:0 
          RX bytes:233796088 (222.9 MiB)  TX bytes:233796088 (222.9 MiB)


virbr0    Link encap:Ethernet  HWaddr 52:54:00:42:D5:B8  
          inet addr:192.168.122.1  Bcast:192.168.122.255  Mask:255.255.255.0
          UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1






###更改信息IP的网卡地址  先加后删
[root@jkddgldb1 bin]# ./oifcfg getif -global
em3  192.168.1.0  global  cluster_interconnect
bond0  10.64.51.0  global  public
[root@jkddgldb1 bin]# ./oifcfg setif -global bond1/192.168.1.0:cluster_interconnect
[root@jkddgldb1 bin]# ./oifcfg getif
em3  192.168.1.0  global  cluster_interconnect
bond0  10.64.51.0  global  public
bond1  192.168.1.0  global  cluster_interconnect
[root@jkddgldb1 bin]# ./oifcfg delif -global em3
[root@jkddgldb1 bin]# ./oifcfg getif
bond0  10.64.51.0  global  public
bond1  192.168.1.0  global  cluster_interconnect




###停止集群 但是失败了
[root@jkddgldb1 bin]# cd /u01/app/11.2.0/grid/bin
[root@jkddgldb1 bin]# ps -ef | grep crs
root      7674 32906  0 16:27 pts/1    00:00:00 grep crs
root     47835     1  0 15:50 ?        00:00:21 /u01/app/11.2.0/grid/bin/crsd.bin reboot
[root@jkddgldb1 bin]# ./crsctl stop crs
CRS-2791: Starting shutdown of Oracle High Availability Services-managed resources on 'jkddgldb1'
CRS-2673: Attempting to stop 'ora.crsd' on 'jkddgldb1'
^C
[root@jkddgldb1 bin]# ./crsctl stop has -f
CRS-2797: Shutdown is already in progress for 'jkddgldb1', waiting for it to complete
^C




###直接重新启动操作系统
[root@jkddgldb1 bin]# reboot


Broadcast message from root@jkddgldb1
        (/dev/pts/1) at 16:45 ...


The system is going down for reboot NOW!
[root@jkddgldb1 bin]# uptime
 16:56:30 up 21:54,  3 users,  load average: 0.08, 0.15, 0.25
[root@jkddgldb1 bin]# 
Broadcast message from root@jkddgldb1
        (unknown) at 16:57 ...


The system is going down for halt NOW!

来自 “ ITPUB博客 ” ，链接：http://blog.itpub.net/26179376/viewspace-2062902/，如需转载，请注明出处，否则将追究法律责任。

转载于:http://blog.itpub.net/26179376/viewspace-2062902/