RAC新增计算节点

最新推荐文章于 2024-05-25 13:23:40 发布
最新推荐文章于 2024-05-25 13:23:40 发布
阅读量982 收藏 2
点赞数
分类专栏： # rac 文章标签： asm oracle
版权声明：本文为博主原创文章，遵循 CC 4.0 BY 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/du18020126395/article/details/115431696
版权

1. 背景

某项目现场推售硬件扩容，需要增加现网rac的存储节点和计算节点（oracle 11.2.0.4），存储节点那边较为简单，主要是数据rebalance的时间长，且占用io。这里简单介绍下：

（1）存储节点创建pv,vg,lv

（2）ise_create添加加速盘,并设置ise和iSCSI target开机自启，targetcli ls查看磁盘映射状态

（3）各个计算节点识别target，iscsi_discovery，iscsiadm，scan_ise_disk

（4）计算节点查看多路径信息，multipath -ll，确认添加成功

（5）选择任一计算节点，添加failgroup，

alter diskgroup DATA01 add failgroup FG_DATA14 disk /dev/mapper/asm-cachedisk411 failgroup FG_DATA14 disk /dev/mapper/asm-cachedisk421;

（6）rebalance asm数据

alter diskgroupDATA01 rebalance power 1;

（7）查询同步状态，塞拉利昂2T多的数据，以power 1，rebalance了20小时左右

select * from v$asm_operation;

主要介绍下增加计算节点：

2. 前期准备

主机名

公网ip

私网ip

虚拟ip

scanip

备注

rac1

10.45.53.30

10.0.10.1

10.45.53.34

10.45.53.36

节点1

rac2

10.45.53.31

10.0.10.2

10.45.53.35

 

节点2

myhost53

10.45.53.53

10.0.10.3

10.45.53.52

 

新节点

（1）按照集成标准文档初始化节点3，安装rpm包等

（2）增加节点3的私网网卡，并保证网卡名与现有两个节点的网卡名相同，配置私网网卡和地址（我用的是虚拟机的网卡，添加网卡后，默认的网卡名是ens256，需要看下配置/etc/udev/rules.d/70-persistent-net.rules,重启下udev，systemctl restart systemd-udev-trigger.service，重命名网卡为eno1，保证和现网网卡名一致，否则cssd无法启动）

grid@myhost53[/etc/sysconfig/network-scripts]$ cat ifcfg-eno1

BOOTPROTO=static

DEVICE=eno1

ONBOOT=yes

IPADDR=10.0.10.3

PREFIX=24

GATEWAY=10.0.10.254

HWADDR=00:50:56:80:14:e3

（3）节点3识别共享磁盘，iscsi_discovery，iscsiadm，scan_ise_disk等，检查multipath -ll（我用的虚拟机的磁盘，用的是udev，需要配置/etc/udev/rules.d/99-oracle-asmdevices.rules）

（4）修改现有节点的/etc/hosts,增加节点3的public ip，private ip和virtual ip，并配置节点3的/etc/hosts

cat /etc/hosts

#pubilc IP --bond0

10.45.53.30 rac1

10.45.53.31 rac2

#private --bond1

10.0.10.1       rac1-priv

10.0.10.2       rac2-priv

#virtual IP --bond0

10.45.53.34  rac1-vip

10.45.53.35  rac2-vip

#scan-ip,oracle rac service --bond0

10.45.53.36  rac-cluster-scan

#node3

10.45.53.53 myhost53

10.0.10.3       myhost53-priv

10.45.53.52  myhost53-vip

（5）节点3创建oinstall和dba组，保证gid与现有节点相同

（6）节点3创建grid和oracle用户（我这里是oraclerac用户），保证uid与现有节点相同

（7）节点3修改grid和oracle密码，保证密码与现有节点相同

（8）节点3配置grid和oracle的.bash_profile

grid:

PATH=$PATH:$HOME/.local/bin:$HOME/bin

export PATH

umask 022

export ORACLE_BASE=/u01/app/grid/grid

export ORACLE_HOME=/u01/app/grid/product

export ORACLE_SID=+ASM3

export GRID_HOME=/u01/app/grid/product

export PATH=.:${PATH}:$ORACLE_HOME/bin:$GRID_HOME/bin:$GRID_HOME/OPatch

export PATH=${PATH}:/usr/bin:/bin:/usr/bin/X11:/usr/local/bin

export LD_LIBRARY_PATH=$ORACLE_HOME/lib:

export LD_LIBRARY_PATH=${LD_LIBRARY_PATH}:/lib:/usr/lib:/usr/local/lib

 

oracle:

PATH=$PATH:$HOME/.local/bin:$HOME/bin

export PATH

export ORACLE_BASE=/u01/app/oracle

export ORACLE_HOME=$ORACLE_BASE/product/12.1.0

export ORACLE_SID=test3

export GRID_HOME=/u01/app/grid/product

export PATH=.:${PATH}:$ORACLE_HOME/bin:$GRID_HOME/bin:$GRID_HOME/OPatch:$ORACLE_HOME/OPatch

export PATH=${PATH}:/usr/bin:/bin:/usr/bin/X11:/usr/local/bin

export TNS_ADMIN=$ORACLE_HOME/network/admin

export LD_LIBRARY_PATH=$ORACLE_HOME/lib:

export LD_LIBRARY_PATH=${LD_LIBRARY_PATH}:/lib:/usr/lib:/usr/local/lib

umask 022

（9）创建grid和oracle软件所在目录

mkdir -p /u01/app/grid/

mkdir -p /u01/app/oracle

mkdir -p /u01/app/grid/grid

chown -R grid:oinstall /u01

chmod -R 775 /u01

（10）配置limits.conf

# oraclerac

oraclerac soft nproc 2047

oraclerac hard nproc 16384

oraclerac soft nofile 1024

oraclerac hard nofile 65536

oraclerac soft stack 10240

# grid

grid soft nproc 2047

grid hard nproc 16384

grid soft nofile 1024

grid hard nofile 65536

grid soft stack 10240

（11）将现有节点/u01/app/grid/product/cv/rpm/cvuqdisk-1.0.10-1.rpm传到节点3的/soft下，安装此rpm包

（12）配置新节点和现有节点的grid和oracle用户无密码ssh（不会影响现网）

节点1执行：

su - oraclerac

$ORACLE_HOME/oui/bin/runSSHSetup.sh -user oraclerac -hosts 'rac1  rac2 myhost53' -advanced -exverify

su - grid

$ORACLE_HOME/oui/bin/runSSHSetup.sh -user grid -hosts 'rac1 rac2 myhost53' -advanced -exverify

从新节点ssh测试

（13）验证对等性

节点1：

su - grid

cluvfy comp nodecon -n rac1,rac2,myhost53

image.png

（14）手动备份ocr

/u01/app/grid/product/bin/ocrconfig -manualbackup

image.png

ocr保存了rac中节点列表、实例和节点的关联、以及rac各种资源（VIP、监听等）信息

3. 添加grid软件

在原有的某一节点执行addnode，11g和12c，18c，19c的方式有所不同

11g：

addNode.sh位于$ORACLE_HOME/oui/bin下，似乎不能图形化加节点，只能静默加，但是一般都不会完全满足安装的先决条件，需要在执行addNode.sh之前，将IGNORE_PREADDNODE_CHECKS设为Y，跳过预检查

export IGNORE_PREADDNODE_CHECKS=Y

./addNode.sh "CLUSTER_NEW_NODES={myhost53}" "CLUSTER_NEW_VIRTUAL_HOSTNAMES={myhost53-vip}" "CLUSTER_NEW_PRIVATE_NODE_NAMES={myhost53-priv}" "CLUSTER_NEW_NODE_ROLES={hub}"

最后在新节点执行root.sh,执行此脚本时有可能碰到各种问题，比如上文提到的私网网卡名不一致会导致cssd进程无法启动

/u01/app/oraInventory/orainstRoot.sh

/u01/app/grid/product/root.sh

 

12c:

12c的ORACLE_HOME下面新增了addnode目录，可以图形化起addnode.sh，比较直观方便

image.png

最后执行

/u01/app/oraInventory/orainstRoot.sh

/u01/app/grid/product/root.sh

此时新节点已经有ASM3实例在运行

4. 添加oracle软件

同样的方法，在原有的某一节点执行addnode，11g和12c，18c，19c的方式有所不同

由于grid执行后，新节点的/u01/app/grid/oraInventory目录不为空，此时需要删除目录下的文件，否则报错

cd /u01/app/grid/oraInventory

rm -rf *

11g：

addNode.sh位于$ORACLE_HOME/oui/bin下，似乎不能图形化加节点，只能静默加，但是一般都不会完全满足安装的先决条件，需要在执行addNode.sh之前，将IGNORE_PREADDNODE_CHECKS设为Y，跳过预检查

export IGNORE_PREADDNODE_CHECKS=Y

./addNode.sh "CLUSTER_NEW_NODES={myhost53}"

最后在新节点执行root.sh，此脚本比较简单

/u01/app/oracle/product/12.1.0/root.sh

 

12c：

12c的ORACLE_HOME下面新增了addnode目录，可以图形化起addnode.sh，比较直观方便

image.png

最后在新节点执行/u01/app/oracle/product/12.1.0/root.sh，执行完毕后，会有个提示如下

image.png

5. dbca添加实例

11g和12c都能用图形化来添加instance，静默方式如下（在现有节点执行）：

dbca -silent -addInstance -nodeName myhost53 -gdbName test -instanceName test3 -sysDBAUserName sys -sysDBAPassword Oracle_123

添加instance的过程中，会在新节点的test3实例中添加redo和undo，并起实例，由于我的asm盘满了，dbca过程中显示成功但是日志报如下错误

image.png

清理了asm盘后，执行deleteInstance，将实例信息从集群中删除

dbca -silent -deleteInstance -nodeName myhost53 -gdbName test -instanceName test3 -sysDBAUserName sys -sysDBAPassword Oracle_123

再重新执行addInstance

 

图形化方式如下：

image.png

image.png

6. 修改service，使得新加实例可以参加负载均衡

当前服务只能识别test1和test2两个实例，需要添加新节点的实例

image.png

srvctl modify service -d test -s srv_test -n -i test1,test2,test3

启动test3实例的服务

srvctl start service -d test -s srv_test  -i test3

image.png

olsnodes -s

olsnodes -n

image.png

7. 测试负载均衡

for i in `seq 1 10`; do sqlplus -s test/test@10.45.53.36:1522/test @2.sql; done

image.png

cat 2.sql

show parameter instance_name;

exit;

8. 备注

11gR2 RAC 添加节点不会影响现网的业务，主要分3个阶段：

（1）第一阶段主要工作是复制GIRD HOME到新节点，配置GRID，并且启动GRID，同时更新OCR信息，更新inventory信息。

（2）第二阶段主要工作是复制RDBMS HOME到新节点，更新inventory信息。

（3）第三阶段主要工作是DBCA创建新的数据库实例（包括创建undo 表空间，redo log，初始化参数等），更新OCR信息（包括注册新的数据库实例等）

 

但似乎asm只能跑在两个节点

image.png

oraclerac@rac1[/home/oraclerac]$crsctl stat res -t

--------------------------------------------------------------------------------

Name           Target  State        Server                   State details

--------------------------------------------------------------------------------

Local Resources

--------------------------------------------------------------------------------

ora.ASMNET1LSNR_ASM.lsnr

             ONLINE  ONLINE       myhost53                 STABLE

             ONLINE  ONLINE       rac1                     STABLE

             ONLINE  ONLINE       rac2                     STABLE

ora.DATA.dg

             ONLINE  ONLINE       myhost53                 STABLE

             ONLINE  ONLINE       rac1                     STABLE

             OFFLINE OFFLINE      rac2                     STABLE

ora.LISTENER.lsnr

             ONLINE  ONLINE       myhost53                 STABLE

             ONLINE  ONLINE       rac1                     STABLE

             ONLINE  ONLINE       rac2                     STABLE

ora.chad

             ONLINE  ONLINE       myhost53                 STABLE

             ONLINE  ONLINE       rac1                     STABLE

             ONLINE  ONLINE       rac2                     STABLE

ora.net1.network

             ONLINE  ONLINE       myhost53                 STABLE

             ONLINE  ONLINE       rac1                     STABLE

             ONLINE  ONLINE       rac2                     STABLE

ora.ons

             ONLINE  ONLINE       myhost53                 STABLE

             ONLINE  ONLINE       rac1                     STABLE

             ONLINE  ONLINE       rac2                     STABLE

--------------------------------------------------------------------------------

Cluster Resources

--------------------------------------------------------------------------------

ora.LISTENER_SCAN1.lsnr

    1        ONLINE  ONLINE       myhost53                 STABLE

ora.LISTENER_SCAN2.lsnr

    1        ONLINE  ONLINE       rac2                     STABLE

ora.MGMTLSNR

    1        ONLINE  ONLINE       rac1                     169.254.115.81 10.0.

                                                           10.1,STABLE

ora.asm

    1        ONLINE  ONLINE       rac1                     Started,STABLE

    2        ONLINE  ONLINE       myhost53                 Started,STABLE

ora.cvu

    1        ONLINE  ONLINE       rac1                     STABLE

ora.mgmtdb

    1        ONLINE  ONLINE       rac1                     Open,STABLE

ora.myhost53.vip

    1        ONLINE  ONLINE       myhost53                 STABLE

ora.onenode.db

    1        ONLINE  ONLINE       rac1                     Open,HOME=/u01/app/o

                                                           racle/product/12.1.0

                                                           ,STABLE

ora.onenode.srv_onenode.svc

    1        ONLINE  ONLINE       rac1                     STABLE

ora.qosmserver

    1        ONLINE  ONLINE       rac1                     STABLE

ora.rac1.vip

    1        ONLINE  ONLINE       rac1                     STABLE

ora.rac2.vip

    1        ONLINE  ONLINE       rac2                     STABLE

ora.scan1.vip

    1        ONLINE  ONLINE       myhost53                 STABLE

ora.scan2.vip

    1        ONLINE  ONLINE       rac2                     STABLE

ora.test.db

    1        ONLINE  ONLINE       rac1                     Open,HOME=/u01/app/o

                                                           racle/product/12.1.0

                                                           ,STABLE

    2        ONLINE  ONLINE       rac2                     Open,HOME=/u01/app/o

                                                           racle/product/12.1.0

                                                           ,STABLE

    3        ONLINE  ONLINE       myhost53                 Open,HOME=/u01/app/o

                                                           racle/product/12.1.0

                                                           ,STABLE

ora.test.srv_test.svc

    1        ONLINE  ONLINE       rac1                     STABLE

    2        ONLINE  ONLINE       rac2                     STABLE

    3        ONLINE  ONLINE       myhost53                 STABLE

--------------------------------------------------------------------------------

9. 删除现有节点的方式与添加节点的步骤相反

 

 

Joyce.Du
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Oracle 11g R2 RAC 增加节点详解（一）
moscot_wu的博客
05-19 1万+
最近准备给我的RAC环境加个节点，看了下官网，表示写的很简单，也应该是比较简单 第一步当然是准备一台虚拟机，最好是host01的拷贝，在未安装前，安装完毕后 $ cluvfy stage -pre nodeadd -n node3 [-fixup [-fixupdir fixup_dir]] [-verbose]这一步一般开始都不会通过PRVF-4007，原因是新增的主机并未进行SSH用户等效
RAC添加节点
Dillon Oracle博客
03-07 2211
RAC添加节点   概述   添加节点主要分成4个步骤走： 1, 准备好主机环境 2, GI软件的扩展。（在扩展之前可以做一个安装条件是否满足的检查） 3, Database软件的扩展 4, Instance的扩展   在第2,3,4中用到的命令也很简单，单有一个前提是第一步准备的linux是完全符合要求的 检查db3是否满足rac安装条件 su - gri
12c RAC增加节点
cnwoljq67940954的博客
08-03 546
在上一篇文章《Oracle VM上实施Oracle 12cR2 RAC》，我们在Oracle VM虚拟化平台上创建了一个2节点的RAC集群。现在我们把2节点集群扩展到3节点集群，即新增一个节点3。 节点...
RAC11G添加节点
最新发布
qq961573863的博客
05-25 506
1、集群扩容2、节点损坏后进行了删除操作，之后又要求恢复删除节点。
RAC实验 新增节点
cnyp2016的博客
11-12 142
一.新增节点前的准备工作 1. tar -xzvf os.tar.gz os.tar.gz:为VMWare操作系统安装完成并修改OS kernel,创建oracle安装用户及群组后的备份 2. 安装asm 安装: ...
RAC 环境下新增加节点
文档搬运工
03-04 2140
上一篇文章，把节点删除了。这次新增加一个节点 。新增加的节点是host03.如下：#public 192.168.2.102   host02 192.168.2.107   host03 # vip  192.168.2.104  host02-vip 192.168.2.108  host03-vip #priv 192.168.0.102  host02-priv 192.168.0.107...
Oracle RAC 新增节点 操作步骤
09-22
#### 2.1 验证新增节点配置 首先，从现有集群中的一个节点以`grid`用户身份运行`olsnodes -s -t`命令检查集群状态，确认新节点的状态。然后使用`cluvfy comp peer -n <new_node>`命令验证新节点与现有节点的兼容性...
rac 添加节点.docx
07-22
详细描述了 rac 如何添加节点，添加节点的详细步骤，安装集群软件，安装oracle软件， 挂载磁盘组，创建数据库
Oracle rac 两节点升级.docx
06-17
在本文中，我们将详细探讨如何将一个拥有两个节点的Oracle RAC 11.2.0.1.0系统升级到11.2.0.4.0版本。Oracle RAC（Real Application Clusters）是一种数据库高可用性解决方案，允许在多台服务器之间共享单个数据库...
Oracle RAC故障节点删除步骤
01-12
Oracle RAC 故障节点删除步骤 Oracle RAC（Real Application Clusters）是一种高可用性数据库解决方案，旨在提供高可用性和可扩展性。然而，在实际操作中，RAC 节点可能会出现故障，导致整个集群的不稳定。因此，...
掉盘超时，盘被drop
whb234174124的博客
01-29 646
默认repair_time SQL&gt; select group_number,name,value from v$asm_attribute where name like '%disk_repair_time%'; GROUP_NUMBER NAME                 VALUE ------------ -------------------- ------------...
RAC添加新节点步骤整理
在路上
11-12 3909
1.老节点oracle及grid用户下检查： cluvfy stage -pre nodeadd -n rac3 -verbose 2.grid下新节点执行添加节点 cd /u01/app/11.2.0/grid/oui/bin/ ./addNode.sh -silent "CLUSTER_NEW_NODES={rac3}" "CLUSTER_NEW_VIRTUAL_HOSTNAMES={
oracle 双活 商用,关于 Oracle 存储双活配置和实战
weixin_36240214的博客
04-03 278
原标题：关于 Oracle 存储双活配置和实战作者简介 任小闯云和恩墨交付技术顾问，6年以上数据库开发维护工作经历，Oracle 10g OCM，Oracle 11g OCP，曾就职于某互联网行业任数据库的设计和开发优化，现任某省移动运营商负责数据库的维护和交付工作。 擅长数据库的日常维护，设计开发，故障诊断，数据迁移，性能调优等工作。本文由恩墨大讲堂149期线上分享整理而成。课程回看可点击文末“...
ORA-15032、ORA-15033—Linux环境
weixin_34378767的博客
12-24 204
SQL> alter diskgroup DATA add failgroup DATA_0000 disk '/dev/raw/raw12'; alter diskgroup DATA add failgroup DATA_0000 disk '/dev/raw/raw...
Oracle 19c RAC报错ORA-15032 ORA15411
m0_37625564的博客
09-04 892
报错描述： select a.group_number,b.name,a.failgroup,a.path from v$asm_disk a,v$asm_diskgroup b where a.group_number=b.group_number and a.group_number=1 order by 3; GROUP_NUMBER NAME FAILGROUP PATH --------------------------
Oracle第十四节---Oracle的RAC
shanshan3003的专栏
08-29 890
因此，当GCS资源被重新灌入的同时，SMON确定需要被恢复的blocks的集合。此时，假设有过去或当前的blocks镜像需要被恢复，而其在cluster Database中的其他caches中，对于这些特殊的blocks，最近的镜像是开始恢复点。因此，当将single Instance的Database迁移到RAC中时，保持每个Instance的请求工作量都能通single-instance时的情况，则需要对运行RAC的Instance增大10%的buffer cache和15%的shared pool。
rac 架构和原理
羽之大公公的博客
11-30 4830
单点数据库VS RAC  单节点数据库，如果实例宕机了，如果一个业务链接在实例上面，那么这个业务就中断了。这个时候系统就不具有可用性了，那么这个时候单节点的可用性是很差的。 对于RAC来说，和单实例一样，还是一份数据文件，都是相同的存储上面放着oracle的文件，但是是由三个实例共用同一份数据文件。这样的好处是在三个实例之间做了冗余，在上面三个实例当中任意两个坏了业务都可以链接到剩下的一个实例，都可以正常的工作。RAC提供了在实例级别的冗余。 RAC不能够解决在数据的安全，尽管有多个实例，.
Oracle RAC三节点实施指南
"ORACLE_RAC实施文档详细介绍了在VmwareInfrastructure3环境下搭建三节点的ORACLE10G集群的步骤。文档包含了架构图、环境描述、实施思路以及详细的配置和安装过程。" 在ORACLE Real Application Clusters (RAC)环境...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值