在虚拟机测试环境下搭建配置DMASM文件系统的DMDSC

     

     一、DMDSC简介

   

     DMDSC 集群是一个多实例、单数据库的系统。 多个数据库实例可以同时访问、修改同一个数据库的数据。用户可以登录集群中的任意一个数据库实例，获得完整的数据库服务。 数据文件、控制文件在集群系统中只有一份，不论有几个节点，这些节点都平等地使用这些文件，这些文件保存在共享存储上。每个节点有自己独立的联机日志和归档日志，其中联机日志保存在共享存储上，归档日志可以保存在本地存储上也可以保存在共享存储上。

         DMDSC 集群得以实现的重要 基础就是共享存储。 DM 支持的共享存储有两种：裸设备和DMASM。这两种存储的区别在于后者在前者的基础上，部署并使用了 DMASM 文件系统。为

了方便对裸设备上的磁盘或文件进行管理，这里使用后者。

二、环境准备

节点	功能	类型
192.168.1.106	搭建dsc使用	节点A
192.168.1.107	搭建dsc使用	节点B

DM 各种工具位于目录：/home/dmdba/dmdbms/dmdbms/bin。

配置文件位于目录：/home/data/config。

三、创建共享磁盘

 在节点1添加一个新的硬盘

一直下一步，到这里选择下图中两个选项：

然后指定磁盘位置，点击完成即可开始创建磁盘，在指定磁盘位置的时候最好单独放在一个文件夹中。

 

 

 然后选择添加的新硬盘点击右侧高级选项，在弹出的窗口中选择SCSI 1:1方式，到这里第一台虚拟机已经添加好了。

节点2同样也需要添加新硬盘。

选择刚才节点1创建的磁盘，其他设置和第一个节点一样。

 最后修改两台主机的.vmx配置文件,添加下列信息：

两台虚拟机添加的vmx文件下都添加一下信息：

disk.locking = "false"

diskLib.dataCacheMaxSize = "0"

diskLib.dataCacheMaxReadAheadSize = "0"

diskLib.DataCacheMinReadAheadSize = "0"

diskLib.dataCachePageSize = "10240"

diskLib.maxUnsyncedWrites = "0"

scsi1:0.deviceType = "disk"

scsi1:1.deviceType = "disk"

scsi1:2.deviceType = "disk"

scsi1:3.deviceType = "disk"

scsi1.sharedBus = "VIRTUAL"

四、开始搭建

1. 在共享磁盘上裸设备划分

用途	空间规划(总共2T)
raw1用于dcr信息	100M
raw2用于存放vote信息	100M
raw3用于存放redo 日志	20480M（强制性要求必须大于等于）
raw4用于存放data	剩下的全部空间

1) 输入 fdisk /dev/sdb

2) 依次输入 n à p à 1 à回车à +100M à回车，完成第一块磁盘划分

3) 依次输入 n à p à 2 à回车à +100M à回车，完成第二块磁盘划分

4) 依次输入 n à p à 3 à回车à +2048M à回车，完成第三块磁盘划分

5) 依次输入 n à p à 4 à回车à回车à回车，完成第四块磁盘划分

6)输入w命令，将裸设备划分的设置进行保存；

6) 编辑/etc/udev/rules.d/60-raw.rules 文件，增加以下语句：

ACTION=="add", KERNEL=="sdb1", RUN+="/bin/raw /dev/raw/raw1 %N"

ACTION=="add", KERNEL=="sdb2", RUN+="/bin/raw /dev/raw/raw2 %N"

ACTION=="add", KERNEL=="sdb4", RUN+="/bin/raw /dev/raw/raw4 %N"

ACTION=="add", KERNEL=="raw[1-4]", OWNER="dmdba", GROUP="dmdba", MODE="660"

7)最后执行 start_udev，完成裸设备绑定

8) 可以通过 blockdev --getsize64 /dev/raw/raw1 命令查看裸设备大小

2.配置dmdcr_cfg.ini

新建dmdcr_cfg.ini配置文件，两个节点都要配置，内容完全一样，保存到/home/dmdba/dmdbms/config目录下。

DCR_N_GRP              = 3  

DCR_VTD_PATH           = /dev/raw/raw2

DCR_OGUID              = 45330

[GRP]

  DCR_GRP_TYPE         = CSS   

  DCR_GRP_NAME         = GRP_CSS

  DCR_GRP_N_EP         = 2  

  DCR_GRP_DSKCHK_CNT   = 60

[GRP_CSS]

  DCR_EP_NAME          = CSS0

  DCR_EP_HOST          = 192.168.1.106 #心跳地址

  DCR_EP_PORT          = 9341

[GRP_CSS]

  DCR_EP_NAME          = CSS1

  DCR_EP_HOST          = 192.168.1.107 #心跳地址

  DCR_EP_PORT          = 9343   

  

[GRP]

  DCR_GRP_TYPE         = ASM

  DCR_GRP_NAME         = GRP_ASM

  DCR_GRP_N_EP         = 2  

  DCR_GRP_DSKCHK_CNT   = 60

[GRP_ASM]

  DCR_EP_NAME          = ASM0

  DCR_EP_SHM_KEY       = 93360

  DCR_EP_SHM_SIZE      = 10

  DCR_EP_HOST          = 192.168.1.106 #业务地址

  DCR_EP_PORT          = 9349

  DCR_EP_ASM_LOAD_PATH = /dev/raw

[GRP_ASM]

  DCR_EP_NAME          = ASM1

  DCR_EP_SHM_KEY       = 93361

  DCR_EP_SHM_SIZE      = 10

  DCR_EP_HOST          = 192.168.1.107 #业务地址

  DCR_EP_PORT          = 9351

  DCR_EP_ASM_LOAD_PATH = /dev/raw

   

[GRP]

  DCR_GRP_TYPE         = DB

  DCR_GRP_NAME         = GRP_dsc

  DCR_GRP_N_EP         = 2  

  DCR_GRP_DSKCHK_CNT   = 60

[GRP_dsc]

  DCR_EP_NAME          = dsc0

  DCR_EP_SEQNO         = 0   

  DCR_EP_PORT          = 5236

  DCR_CHECK_PORT       = 9741

[GRP_dsc]

  DCR_EP_NAME          = dsc1

  DCR_EP_SEQNO         = 1  

  DCR_EP_PORT          = 5236

  DCR_CHECK_PORT       = 9742

3. 使用 DMASMCMD 工具初始化

将以下命令写入//dmdbms/bin目录下的asmcmd.txt文件:

#asm script file

cd /home/dmdba/dmdbms/bin

./dmasmcmd

create dcrdisk '/dev/raw/raw1' 'dcr'

create votedisk '/dev/raw/raw2' 'vote'

create asmdisk '/dev/raw/raw3' 'LOG0'

create asmdisk '/dev/raw/raw4' 'DATA0'

init dcrdisk '/dev/raw/raw1' from '/home/dmdba/dmdbms/config/dmdcr_cfg.ini' identified by 'abcd'

init votedisk '/dev/raw/raw2' from '/home/dmdba/dmdbms/config/dmdcr_cfg.ini'

执行 ./dmasmcmd script_file=asmcmd.txt，只需在一台机器执行即可。

4.配置dmasvrmal.ini文件和dmdcr.ini文件

新建dmasvrmal.ini配置文件

两个节点都要配置，内容完全一样，保存到/home/dmdba/dmdbms/config目录下

[MAL_INST1]

    MAL_INST_NAME              = ASM0

    MAL_HOST                    = 192.168.1.106 #心跳地址

    MAL_PORT                    = 7236

[MAL_INST2]

    MAL_INST_NAME              = ASM1

    MAL_HOST                    = 192.168.1.107 #心跳地址

    MAL_PORT                    = 7237

新建dmdcr.ini配置文件

两个节点都要配置，内容大部分一样，只是dmdcr_seqo分别为0和1。保存到/home/dmdba/dmdbms/config目录下

节点A：

DMDCR_PATH     = /dev/raw/raw1

DMDCR_MAL_PATH = /home/dmdba/dmdbms/config/dmasvrmal.ini  

DMDCR_SEQNO   = 0

#DMDCR_ASM_RESTART_INTERVAL = 30

#DMDCR_ASM_STARTUP_CMD = service DmASMSvrService start

#DMDCR_DB_RESTART_INTERVAL = 60

#DMDCR_DB_STARTUP_CMD = service DmServicedsc0 start

节点B：

DMDCR_PATH     = /dev/raw/raw1

DMDCR_MAL_PATH = /home/dmdba/dmdbms/config/dmasvrmal.ini  

DMDCR_SEQNO   = 1

#DMDCR_ASM_RESTART_INTERVAL = 30

#DMDCR_ASM_STARTUP_CMD = service DmASMSvrService start

#DMDCR_DB_RESTART_INTERVAL = 60

#DMDCR_DB_STARTUP_CMD = service DmServicedsc1 start

5.启动DMCSS、DMASM服务

先在节点A前台启动dmcss、dmasmsvr服务。

然后节点B前台启动dmcss、dmasmsvr服务。

都启动后，在节点A输入show命令，观察这CSS0、CSS1、ASM0、ASM1服务的sys_status 、vtd_status、is_ok、active的状态为OPEN、 WORKING、OK、TRUE，表示服务都正常启动。

启动dmcss服务命令：

[bin]#./dmcss DCR_INI=/home/dmdba/dmdbms/config/dmdcr.ini

启动dmasmsvr服务命令：

[bin]#./dmasmsvr DCR_INI=/home/dmdba/dmdbms/config/dmdcr.ini

1. 创建DMASM磁盘

在css服务和asm服务启动的情况下，选择ASM的控制节点，启动dmasmtool工具，输入下列语句创建DMASM磁盘组：

[ bin]# ./dmasmtool DCR_INI=/home/dmdba/dmdbms/config/dmdcr.ini

#创建日志磁盘组,10s

create diskgroup 'DMLOG' asmdisk '/dev/raw/raw3'

#创建数据磁盘组

create diskgroup 'DMDATA' asmdisk '/dev/raw/raw4'

7.配置dminit.ini文件

控制节点准备dminit.ini配置文件，保存到/home/dmdba/dmdbms/config目录，

db_name = dsc  #数据库名称

system_path = +DMDATA/data

system = +DMDATA/data/dsc/system.dbf

system_size = 128

roll = +DMDATA/data/dsc/roll.dbf

roll_size = 128

main = +DMDATA/data/dsc/main.dbf

main_size = 128

ctl_path = +DMDATA/data/dsc/dm.ctl

ctl_size = 8

log_size = 2048

dcr_path = /dev/raw/raw1

dcr_seqno = 0

auto_overwrite = 1

PAGE_SIZE         = 32

CASE_SENSITIVE    = N#注意，这个参数表示大小写不敏感。

CHARSET  = 0#字符集(0)，可选值：0[GB18030]，1[UTF-8]，2[EUC-KR]

[dsc0]

config_path     = /home/dmdba/dmdbms/config/dsc0_config

port_num = 5236

mal_host = 192.168.1.106 #心跳地址

mal_port = 9340

log_path = +DMLOG/log/dsc0_log01.log

log_path = +DMLOG/log/dsc0_log02.log

[dsc1]

config_path     = /home/dmdba/dmdbms/config/dsc1_config

port_num = 5236

mal_host = 192.168.1.107 #心跳地址

mal_port = 9341

log_path = +DMLOG/log/dsc1_log01.log

log_path = +DMLOG/log/dsc1_log02.log

8.初始化数据库

首先选择节点A，启动dminit工具初始化数据库。dminit执行完成后，会在config_path目录（/home/dmdba/dmdbms/config/dsc0_config和dsc1_config）下生成配置文件dm.ini和dmmal.ini。

./dminit control=/home/dmdba/dmdbms/config/dminit.in

然后初始化数据库完成之后，将节点A上生成的dsc1_config文件夹拷贝到节点B的/home/dmdba/dmdbms/config目录下。

最后将节点A上/home/dmdba/dmdbms/config目录下的dsc1_config文件夹删掉。

9. 启动数据库服务器

将 10.0.2.101 机器/home/data/dsc1_config 目录拷贝到 10.0.2.102 机器相

同目录下，再分别启动 dmserver 即可完成 DMDSC 集群搭建。 

10.启动DMSERVER服务

节点A：

./dmserver /home/dmdba/dmdbms/config/dsc0_config/dm.ini dcr_ini=/home/dmdba/dmdbms/config/dmdcr.ini

节点B：

./dmserver /home/dmdba/dmdbms/config/dsc1_config/dm.ini dcr_ini=/home/dmdba/dmdbms/config/dmdcr.ini